A more powerful engine and a simpler API for our data-oriented meshIn November 2020 we published a post about Viaduct, our data-oriented service mesh. Today, we’re excited to announce Viaduct is available as open-source software (OSS) at https://github.com/airbnb/viaduct.Before we talk about OSS, here’s a quick update on Viaduct’s adoption and evolution at Airbnb over the last five years. Since 2020, traffic through Viaduct has grown by a factor of eight. The number of teams hosting code in Viaduct has doubled to 130+ (with hundreds of weekly active developers). The codebase hosted by Viaduct has tripled to over 1.5M lines (plus about the same in test code). We’ve achieved all this while ke…

Introducing Viaduct, Airbnb’s data-oriented service meshBy: Raymie Stata, Arun Vijayvergiya, Adam MiskiewiczAt Hasura’s Enterprise GraphQL Conf on October 22, we presented Viaduct, what we’re calling a data-oriented service mesh that we believe will bring a step function improvement in the modularity of our microservices-based Service-Oriented Architecture (SOA). In this blog post, we describe the philosophy behind Viaduct and provide a rough sketch of how it works. Please watch the presentation for a more detailed look.Massive SOA Dependency GraphsFor a while, Service-Oriented Architectures have been moving towards ever larger numbers of small microservices. Modern applications can consist…

At Airbnb, we recently completed migrating our largest repo, the JVM monorepo, to Bazel. This repo contains tens of millions of lines of Java, Kotlin, and Scala code that power the vast array of backend services and data pipelines behind airbnb.com.Migration in numbers (4.5 years of work):Build CSAT: 38% → 68%3–5x faster local build and test times2–3x faster IntelliJ syncs2–3x faster deploys to the development environmentIn this blog post, we’ll discuss the why, share some highlights on the how, and finish off with key learnings.Why Bazel?Before the migration, our JVM monorepo used Gradle as its build system. We decided to migrate to Bazel because it offered three key advantages: speed, rel…

How Airbnb upgrades tens of thousands of pods on dozens of Kubernetes clusters to new Istio versionsAirbnb has been running Istio® at scale since 2019. We support workloads running on both Kubernetes and virtual machines (using Istio’s mesh expansion). Across these two environments, we run tens of thousands of pods, dozens of Kubernetes clusters, and thousands of VMs. These workloads send tens of millions of QPS at peak through Istio. Our IstioCon 2021 talk describes our journey onto Istio and our KubeCon 2021 talk goes into further detail on our architecture.Istio is a foundational piece of our architecture, which makes ongoing maintenance and upgrades a challenge. Despite that, we have up…

IntroductionTraditionally, organizations have deployed databases on costly, high-end standalone servers using sharding for scaling as a strategy. As data demands grew, the limitations of this strategy became increasingly evident with increasingly longer and more complex maintenance projects.Increasingly distributed horizontally scalable databases are not uncommon and many of them are open source. However, running these databases reliably in the cloud with high availability, low latency and scalability, all at a reasonable cost is a problem many companies are trying to solve.We chose an innovative strategy of deploying a distributed database cluster across multiple Kubernetes clusters in a c…

New techniques we’re using at Airbnb to improve and maintain performance of SwiftUI features at scaleBy Cal Stephens, Miguel JimenezAirbnb first adopted SwiftUI in 2022, starting with individual components and later expanding to entire screens and features. We’ve seen major improvements to engineers’ productivity thanks to its declarative, flexible, and composable architecture. However, adopting SwiftUI has brought new challenges related to performance. For example, there are many common code patterns in SwiftUI that can be inefficient, and many small papercuts can add up to a large cumulative performance hit. To begin addressing some of these issues at scale, we’ve created new tooling for …

Comprehensive Load Testing with Load Generator, Dependency Mocker, Traffic Collector, and MoreAuthors: Chenhao Yang, Haoyue Wang, Xiaoya Wei, Zay Guan, Yaolin Chen and Fei YuanSystem-level load testing is crucial for reliability and efficiency. It identifies bottlenecks, evaluates capacity for peak traffic, establishes performance baselines, and detects errors. At a company of Airbnb’s size and complexity, we’ve learned that load testing needs to be robust, flexible, and decentralized. This requires the right set of tools to enable engineering teams to do self-service load tests that integrate seamlessly with CI.Impulse is one of our internal load-testing-as-a-service frameworks. It provide…

Listening, Learning, and Helping at Scale: How Machine Learning Transforms Airbnb’s Voice Support ExperienceA look into how Airbnb uses speech recognition, intent detection, and language models to understand users and assist agents more effectively.By Yuanpei Cao, Heng Ji, Elaine Liu, Peng Wang, and Tiantian ZhangAt Airbnb, we aim to provide a smooth, intuitive, and helpful community support experience, whether it’s helping a guest navigate a booking change or helping a host with a listing issue. While our Help Center and customer support chatbot helps resolve many inquiries efficiently, some users prefer the immediacy of a voice conversation with a support representative. To make these int…

A deep dive on the framework that lets us identify the most valuable listings for our guests.By: Carlos Sanchez-Martinez, Sean O’Donnell, Lo-Hua Yuan, Yunshan ZhuAt Airbnb, we always strive to provide our community with the best experience. To do so, it’s important to understand what kinds of accommodation listings are valuable to our guests. We achieve this by calculating and using estimates of listing lifetime value. These estimates not only allow us to identify which types of listings resonate best with guests, but also help us develop resources and recommendations for hosts to increase the value driven by their listings.Most of the existing literature on lifetime value focuses on tradit…

Our journey in applying embedding-based retrieval techniques to build an accurate and scalable candidate retrieval system for Airbnb Homes searchAuthors: Mustafa (Moose) Abdool, Soumyadip Banerjee, Karen Ouyang, Do-Kyum Kim, Moutupsi Paul, Xiaowei Liu, Bin Xu, Tracy Yu, Hui Gao, Yangbo Zhu, Huiji Gao, Liwei He, Sanjeev KatariyaIntroductionSearch plays a crucial role in helping Airbnb guests find the perfect stay. The goal of Airbnb Search is to surface the most relevant listings for each user’s query — but with millions of available homes, that’s no easy task. It’s especially difficult when searches include large geographic areas (like California or France) or high-demand destinations (like…

by: Charles Covey-BrandtAirbnb recently completed our first large-scale, LLM-driven code migration, updating nearly 3.5K React component test files from Enzyme to use React Testing Library (RTL) instead. We’d originally estimated this would take 1.5 years of engineering time to do by hand, but — using a combination of frontier models and robust automation — we finished the entire migration in just 6 weeks.In this blog post, we’ll highlight the unique challenges we faced migrating from Enzyme to RTL, how LLMs excel at solving this particular type of challenge, and how we structured our migration tooling to run an LLM-driven migration at scale.BackgroundIn 2020, Airbnb adopted React Testing L…

How Airbnb is adapting ranking for our map interface.Malay Haldar, Hongwei Zhang, Kedar Bellare Sherry ChenSearch is the core mechanism that connects guests with Hosts at Airbnb. Results from a guest’s search for listings are displayed through two interfaces: (1) as a list of rectangular cards that contain the listing image, price, rating, and other details on it, referred to as list-results and (2) as oval pins on a map showing the listing price, called map-results. Since its inception, the core of the ranking algorithm that powered both these interfaces was the same — ordering listings by their booking probabilities and selecting the top listings for display.But some of the basic assumpti…

Airbnb had a large presence at the 2024 KDD conference hosted in Barcelona, Spain. Our Data Scientist and Engineers presented on topics like Deep Learning & Search Ranking, Online Experimentation & Measurement, Product Quality & Customer Journey, and Two-sided Marketplaces. This blog post summarizes our contributions to KDD for 2024 and provides access to the academic papers presented during the conference.Authors: Huiji Gao, Peter Coles, Carolina Barcenas, Sanjeev KatariyaKDD (Knowledge and Data Mining) is one of the most prestigious global conferences in data mining and machine learning. Hosted annually by a special interest group of the Association for Computing Machinery (ACM), it’s whe…

Vijaya Kaza is the Chief Security Officer and Head of Engineering for Trust and Safety at Airbnb. She leads teams responsible for developing the technology (Platforms, tools and AI models), to safeguard the Airbnb community, as well as for securing Airbnb’s infrastructure and information assets. She is also the executive co-sponsor of Airbnb Tech’s Diversity Council.Here’s Vijaya’s story of how she got to Airbnb, in her own words.Straight shot to science and engineeringI grew up in a modest, multi-generational family in India with 30 to 40 family members under one roof on any given day. As the oldest child in that house, I was expected to excel academically and set an example for the other …

Behind the Streams: Three Years Of Live at Netflix. Part 1.By Sergey Fedorov, Chris Pham, Flavio Ribeiro, Chris Newton, and Wei WeiMany great ideas at Netflix begin with a question, and three years ago, we asked one of our boldest yet: if we were to entertain the world through Live — a format almost as old as television itself — how would we do it?What began with an engineering plan to pave the path towards our first Live comedy special, Chris Rock: Selective Outrage, has since led to hundreds of Live events ranging from the biggest comedy shows and NFL Christmas Games to record-breaking boxing fights and becoming the home of WWE.In our series Behind the Streams — where we take you through …

By Eugene Yemelyanau, Jake GriceIntroductionTudum.com is Netflix’s official fan destination, enabling fans to dive deeper into their favorite Netflix shows and movies. Tudum offers exclusive first-looks, behind-the-scenes content, talent interviews, live events, guides, and interactive experiences. “Tudum” is named after the sonic ID you hear when pressing play on a Netflix show or movie. Attracting over 20 million members each month, Tudum is designed to enrich the viewing experience by offering additional context and insights into the content available on Netflix.Initial architectureAt the end of 2021, when we envisioned Tudum’s implementation, we considered architectural patterns that wo…

By Vipul Marlecha, Lara Deek, Thiara OrtizThe mission of Open Connect, our dedicated content delivery network (CDN), is to deliver the best quality of experience (QoE) to our members. By localizing our Open Connect Appliances (OCAs), we bring Netflix content closer to the end user. This is achieved through close partnerships with internet service providers (ISPs) worldwide. Our ability to efficiently localize traffic, known as Content Delivery Efficiency, is a critical component of Open Connect’s service.In this post, we discuss one of the frameworks we use to evaluate our efficiency and identify sources of inefficiencies. Specifically, we classify the causes of traffic not being served fro…

Unleashing Film Grain Synthesis on Netflix and Enhancing Visuals for MillionsLi-Heng Chen, Andrey Norkin, Liwei Guo, Zhi Li, Agata Opalach and Anush MoorthyPicture this: you’re watching a classic film, and the subtle dance of film grain adds a layer of authenticity and nostalgia to every scene. This grain, formed from tiny particles during the film’s development, is more than just a visual effect. It plays a key role in storytelling by enhancing the film’s depth and contributing to its realism. However, film grain is as elusive as it is beautiful. Its random nature makes it notoriously difficult to compress. Traditional compression algorithms struggle to manage it, often forcing a choice be…

By Alex Hutter, Alexandre Bertails, Claire Wang, Haoyuan He, Kishore Banala, Peter Royal, Shervin AfsharAs Netflix’s offerings grow — across films, series, games, live events, and ads — so does the complexity of the systems that support it. Core business concepts like ‘actor’ or ‘movie’ are modeled in many places: in our Enterprise GraphQL Gateway powering internal apps, in our asset management platform storing media assets, in our media computing platform that powers encoding pipelines, to name a few. Each system models these concepts differently and in isolation, with little coordination or shared understanding. While they often operate on the same concepts, these systems remain largely u…

Authors: Sejoon Oh, Moumita Bhattacharya, Yesu Feng, Sudarshan Lamkhede, Ko-Jen Hsiao, and Justin BasilicoMotivationRecommender systems have become essential components of digital services across e-commerce, streaming media, and social networks [1, 2]. At Netflix, these systems drive significant product and business impact by connecting members with relevant content at the right time [3, 4]. While our recommendation foundation model (FM) has made substantial progress in understanding user preferences through large-scale learning from interaction histories (please refer to this article about FM @ Netflix), there is an opportunity to further enhance its capabilities. By extending FM to incorp…

Kinesh SatiyaIntroductionIn a digital advertising platform, a robust feedback system is essential for the lifecycle and success of an ad campaign. This system comprises of diverse sub-systems designed to monitor, measure, and optimize ad campaigns. At Netflix, we embarked on a journey to build a robust event processing platform that not only meets the current demands but also scales for future needs. This blog post delves into the architectural evolution and technical decisions that underpin our Ads event processing pipeline.Ad serving acts like the “brain” — making decisions, optimizing delivery and ensuring right Ad is shown to the right member at the right time. Meanwhile, ad events, aft…

Enhancing Member Experience Through Strategic CollaborationOzzie Sutherland, Iroro Orife, Chih-Wei Wu, Bhanu SrikanthAt Netflix, delivering the best possible experience for our members is at the heart of everything we do, and we know we can’t do it alone. That’s why we work closely with a diverse ecosystem of technology partners, combining their deep expertise with our creative and operational insights. Together, we explore new ideas, develop practical tools, and push technical boundaries in service of storytelling. This collaboration not only empowers the talented creatives working on our shows with better tools to bring their vision to life, but also helps us innovate in service of our me…

By Cheng Xie, Bryan Shultz, and Christine XuIn a previous blog post, we described how Netflix uses eBPF to capture TCP flow logs at scale for enhanced network insights. In this post, we delve deeper into how Netflix solved a core problem: accurately attributing flow IP addresses to workload identities.A Brief RecapFlowExporter is a sidecar that runs alongside all Netflix workloads. It uses eBPF and TCP tracepoints to monitor TCP socket state changes. When a TCP socket closes, FlowExporter generates a flow log record that includes the IP addresses, ports, timestamps, and additional socket statistics. On average, 5 million records are produced per second.In cloud environments, IP addresses ar…

Jesse Korosi, Thijs van de Kamp, Mayra Vega, Laura Futuro, Anton MargolineThe journey from script to screen is full of challenges in the ever-evolving world of film and television. The industry has always innovated, and over the last decade, it started moving towards cloud-based workflows. However, unlocking cloud innovation and all its benefits on a global scale has proven to be difficult. The opportunity is clear: streamline complex media management logistics, eliminate tedious, non-creative task-based work and enable productions to focus on what matters most–creative storytelling. With these challenges in mind, Netflix has developed a suite of tools by filmmakers for filmmakers: the Medi…

By Ko-Jen Hsiao, Yesu Feng and Sudarshan LamkhedeMotivationNetflix’s personalized recommender system is a complex system, boasting a variety of specialized machine learned models each catering to distinct needs including “Continue Watching” and “Today’s Top Picks for You.” (Refer to our recent overview for more details). However, as we expanded our set of personalization algorithms to meet increasing business needs, maintenance of the recommender system became quite costly. Furthermore, it was difficult to transfer innovations from one model to another, given that most are independently trained despite using common data sources. This scenario underscored the need for a new recommender syste…

Roger Quero, Liwei Guo, Jeff Watts, Joseph McCormick, Agata Opalach, Anush MoorthyWe are excited to announce that we are now streaming HDR10+ content on our service for AV1-enabled devices, enhancing the viewing experience for certified HDR10+ devices, which previously only received HDR10 content. The dynamic metadata included in our HDR10+ content improves the quality and accuracy of the picture when viewed on these devices.Delighting Members with Even Better Picture QualityNearly a decade ago, we made a bold move to be a pioneering adopter of High Dynamic Range (HDR) technology. HDR enables images to have more details, vivid colors, and improved realism. We began producing our shows and m…

Part 3: System Strategies and ArchitectureBy: Varun KhaitanWith special thanks to my stunning colleagues: Mallika Rao, Esmir Mesic, Hugo MarquesThis blog post is a continuation of Part 2, where we cleared the ambiguity around title launch observability at Netflix. In this installment, we will explore the strategies, tools, and methodologies that were employed to achieve comprehensive title observability at scale.Defining the observability endpointTo create a comprehensive solution, we decided to introduce observability endpoints first. Each microservice involved in our Personalization stack that integrated with our observability solution had to introduce a new “Title Health” endpoint. Our g…

Part 1: Creating the Source of Truth for ImpressionsBy: Tulika BhattImagine scrolling through Netflix, where each movie poster or promotional banner competes for your attention. Every image you hover over isn’t just a visual placeholder; it’s a critical data point that fuels our sophisticated personalization engine. At Netflix, we call these images ‘impressions,’ and they play a pivotal role in transforming your interaction from simple browsing into an immersive binge-watching experience, all tailored to your unique tastes.Capturing these moments and turning them into a personalized journey is no simple feat. It requires a state-of-the-art system that can track and process these impressions…

Part 2: Navigating AmbiguityBy: Varun KhaitanWith special thanks to my stunning colleagues: Mallika Rao, Esmir Mesic, Hugo MarquesBuilding on the foundation laid in Part 1, where we explored the “what” behind the challenges of title launch observability at Netflix, this post shifts focus to the “how.” How do we ensure every title launches seamlessly and remains discoverable by the right audience?In the dynamic world of technology, it’s tempting to leap into problem-solving mode. But the key to lasting success lies in taking a step back — understanding the broader context before diving into solutions. This thoughtful approach doesn’t just address immediate hurdles; it builds the resilience a…

Soam Acharya: Principal Engineer · Rainie Li: Manager, Data Processing Infrastructure · William Tom: Senior Staff Software Engineer · Ang Zhang: Director, Big Data PlatformAs Pinterest’s data processing needs grow and as our current Hadoop-based platform (Monarch) ages, the Big Data Platform (BDP) team within Pinterest Data Engineering started considering alternatives for our next generation massive scale data processing platform. In part one we shared the overall design of Moka, our new next gen data processing platform, and detailed its application focused components. In part two of our series, we spotlight the infrastructure focused aspects of our platform: how we deploy Moka using AWS E…

Authors: Ashlin Jones, Engineering Manager; Haniel Martino, Software Engineer; Su Rong, Software Engineer; Viktoria Czaran, Software EngineerAt Pinterest, our mission is to bring everyone the inspiration to create a life they love. This ambitious goal is powered by a complex technological ecosystem managed by thousands of engineers who develop and maintain services to support over 550 million monthly active users¹.As Pinterest evolved to a platform serving hundreds of millions of users, we faced a critical question: How do we maintain engineering velocity while managing increasing technological complexity? The answer led us to reimagine our developer experience through an Internal Developer…

Samson Hu, Shashank Tavildar, Eric Kalkanger, Hunter GatewoodWhile migrating Pinterest’s search infrastructure — which powers core experiences for millions of users monthly — to Kubernetes, we faced a challenge in the new environment: one in every million search requests took 100x longer than usual.This post chronicles our investigation, uncovering an elusive interaction between our memory-intensive search system and a seemingly innocent monitoring process. The journey involves profiling search systems, debugging performance issues, Linux kernel features, and memory management.Migrating Manas to KubernetesAt Pinterest, search is a critical component of our recommendation system. When users …

Soam Acharya: Principal Engineer · Rainie Li: Manager, Data Processing Infrastructure · William Tom: Senior Staff Software Engineer · Ang Zhang: Director, Big Data PlatformAs Pinterest’s data processing needs grow and as our current Hadoop-based platform (Monarch) ages, the Big Data Platform (BDP) team within Pinterest Data Engineering started considering alternatives for our next generation massive scale data processing platform. In this blog post series, we share details of our subsequent journey, the architecture of our next gen data processing platform, and some insights we gained along the way. In part one, we provide rationale for our new technical direction prior to outlining the ove…

Andrew Yu Staff Software Engineer / Jiahuan Liu Staff Software Engineer / Qingxian Lai Staff Software Engineer / Kritarth Anand Staff Software Engineer1. Introduction: Expanding Ray Beyond Training & InferenceAt Pinterest, ML engineers continuously strive to optimize feature development, sampling strategies, and label experimentation. However, the traditional ML infrastructure was constrained by slow data pipelines, costly feature iterations, and inefficient compute usage.While Ray has already transformed our training/batch inference workflows, we saw an opportunity to extend its capabilities to the entire ML infrastructure stack. This blog details how we expanded Ray’s role beyond training…

Authors (non-ordered): Qishan(Shanna) Zhu, Chen HuAcknowledgements: Longyu Zhao, Jacob Gao, Quannan Li, Dinesh GovindarajIntroductionIn the evolving landscape of advertising, the demand for real-time personalization and dynamic ad delivery has made Online Approximate Nearest Neighbors (ANN) a mainstream method for ad retrieval. Pinterest primarily employs online ANN to swiftly adapt to users’ behavior changes (depending on their age, location and privacy settings), thereby enhancing ad responsiveness and relevance.However, offline ANN is also a valuable option, particularly when large-scale data processing, efficient resource utilization, and cost-effective operations are critical. By preco…

Xue Xia | Machine Learning Engineer, Home Feed Ranking; Saurabh Vishwas Joshi | Principal Engineer, ML Platform; Kousik Rajesh | Machine Learning Engineer, Applied Science; Kangnan Li | Machine Learning Engineer, Core ML Infrastructure; Yangyi Lu | Machine Learning Engineer, Home Feed Ranking; Nikil Pancha | (formerly) Machine Learning Engineer, Applied Science; Dhruvil Deven Badani | Engineering Manager, Home Feed Ranking; Jiajing Xu | Engineering Manager, Applied Science; Pong Eksombatchai | Principal Machine Learning Engineer, Applied ScienceBackgroundThe Pinterest home feed is crucial for Pinner engagement and discovery. Pins on the home feed are personalized using a two-stage process: …

Joe Sabolefski, Sr. Site Reliability EngineerPinterest Big Data InfrastructureMuch of Pinterest’s big data is processed using frameworks like MapReduce™, Spark™, and Flink™ on Hadoop™ YARN™. The processing is carried out on many thousands of nodes spread across over a dozen clusters. We use AWS for our infrastructure, and each cluster uses Auto Scaling Groups (ASGs) to maintain cluster size. Because Hadoop is stateful, we do not auto-scale the clusters; each ASG is fixed in size (desired = min = max). Terraform is utilized to create each cluster. Before introducing the Hadoop Control Center (HCC), Terraform was also used to scale out the Auto Scaling Groups (ASGs). However, scaling in (down…

Jacob Seiler | Software Engineer, Internal Tools PlatformJay Kim | Software Engineer, Internal Tools PlatformCharlie Gu | Engineering Manager, Internal Tools PlatformTechnical documentation is the backbone of any successful engineering team, yet at Pinterest, it has consistently been a source of frustration. Despite using popular web-based wiki tools and experimenting with well-known alternative applications, our internal developer surveys reveal that documentation remains a top pain point. The issues boil down to two critical areas: quality and discoverability. Traditional solutions, such as doc-a-thon sprints or passionate appeals from senior leaders, have failed to produce lasting improv…

Leif Sigerson | Senior Data Scientist, Data Platforms Science,Stephanie Chen | Staff Quantitative Product Researcher, Product Research,Wendy Matheny | Senior Lead Public Policy Manager, Government and Corporate AffairsIntroOne of the best parts about working at Pinterest is meeting someone new and telling them where you work. Often, they smile and immediately say, “I love Pinterest! I go there for…[outfit inspiration, recipes, home decor ideas, nail art, DIY projects, etc.]!” It’s a great feeling that never gets old.A major reason so many people feel good about their time on Pinterest is that it feels personal. Pinterest is personal — it’s about yourself, not your selfie.People come to Pint…

Bella Huang | Machine Learning Engineer, Homefeed Candidate GenerationDafang He | Machine Learning Engineer, Homefeed RelevanceYuying Chen | Machine Learning Engineer, (formerly) Homefeed Candidate GenerationJames Li | Engineering Manager, Homefeed Candidate GenerationDylan Wang | Director, Homefeed RelevanceModern recommendation systems typically follow a multi-stage design involving retrieval, pre-ranking, ranking, and reranking. Pinterest home feed recommendation system has similarly adopted these strategies over the years. We are excited to announce the big milestone in this journey with a sophisticated pre-ranking layer (aka Lightweight Scoring) that significantly improved our business…

Authors: Kartik Kapur, Tech Lead, Sr Software Engineer | Matthew Jin, Sr Software Engineer | Qingxian Lai, Staff Software EngineerContextAt Pinterest, our mission is to inspire users to curate a life they love. To achieve this, we rely on state-of-the-art Recommendation and Ads models trained on tens of petabytes of data over the span of many months of engagement logs. These models drive personalized recommendations, showing users content that resonates with their interests. These models show significantly better performance when trained on large datasets with events spanning over many months of events.Our ML Models are trained on a wide range of features, including Pin, user, advertiser-le…

Xinyue Cao | Software Engineer Tech Lead; Bojun Lin | Software EngineerOverviewExperimentation is a cornerstone of data-driven decision making at Pinterest. Every day, thousands of experiments run on our platform, generating insights that drive product decisions and business strategies. By the end of 2024, over 1,500 metrics — created by experiment users — are computed daily on our Experimentation Platform to meet diverse analytical needs.But as the scale of experimentation grew, so did the challenges. Delays in upstream data ingestion, difficulties in backfilling skipped metrics, and frequent scalability issues began to hinder our ability to deliver timely and reliable results.Enter the Un…

Multi-gate-Mixture-of-Experts (MMoE) model architecture and knowledge distillation in Ads Engagement modeling developmentAuthors: Jiacheng Li | Machine Learning Engineer II, Ads Ranking; Matt Meng | Staff Machine Learning Engineer, Ads Ranking; Kungang Li | Principal Machine Learning Engineer, Ads Performance; Qifei Shen | Senior Staff Machine Learning Engineer, Ads RankingIntroductionMulti-gate Mixture-of-Experts (MMoE)[1,2] is a recent industry-proven powerful architecture in neural network models that offers several significant benefits. First, it enhances model efficiency by dynamically allocating computational resources to different sub-networks (experts) based on the input data, ensur…

Authors: Jack Hsu | Staff Software Engineer, Core Web Platform; Mark Molinaro | Staff Software Engineer, Code and Language RuntimePinterest migrated 3.7 million lines of code from Flow to TypeScript in eight months, leading to better type safety, developer experience, and improved hiring. Along the way, we learned a lot and greatly benefited from the open source community, and it’s our turn to give back. Today, we’re excited to share our learnings and contributions to Stripe’s flow-to-typescript codemod!Why?In 2016, Pinterest began adding types to our JavaScript codebase. At that time, we chose Flow over TypeScript for several reasons:Gradual Adoption: Flow allowed for easier incremental ad…

AI is everywhere and, as network engineers, we are right in the thick of it: building the network infrastructure for AI. This year, at our largest @Scale:Networking ever, engineers from Meta, ByteDance, Google, Microsoft, Oracle, AMD, Broadcom, Cisco, and NVIDIA came together to share our latest experiences in architecting, designing, operating, and debugging our AI [...]

Read More...

The post Networking at the Heart of AI — @Scale: Networking 2025 Recap appeared first on Engineering at Meta.

We’re sharing how Meta is applying machine learning (ML) and diversity algorithms to improve notification quality and user experience. We’ve introduced a diversity-aware notification ranking framework to reduce uniformity and deliver a more varied and engaging mix of notifications. This new framework reduces the volume of notifications and drives higher engagement rates through more diverse [...]

Read More...

The post A New Ranking Framework for Better Notification Quality on Instagram appeared first on Engineering at Meta.

We’re exploring Meta’s Federation Platform, a scalable set of tools for managing compliance-related tasks, along with Privacy Waves, our method for batching these tasks and ensuring accountability. Together, the Federation Platform and Privacy Waves create a structured, effective, and sustainable approach to operationalizing privacy work, enabling Meta to safeguard user data for the billions of [...]

Read More...

The post Federation Platform and Privacy Waves: How Meta distributes compliance-related tasks at scale appeared first on Engineering at Meta.

The state of the research Diff Risk Score (DRS) is a AI-powered technology built at Meta that predicts the likelihood of a code change causing a production incident, also known as a SEV. Built on a fine-tuned Llama LLM, DRS evaluates code changes and metadata to produce a risk score and highlight potentially risky code [...]

Read More...

The post Diff Risk Score: AI-driven risk-aware software development appeared first on Engineering at Meta.

What if you could control any device using only subtle hand movements? New research from Meta’s Reality Labs is pointing even more firmly toward wrist-worn devices using surface electromyography (sEMG) becoming the future of human-computer interaction. But how do you develop a wrist-worn input device that works for everyone? Generalization has been one of the [...]

Read More...

The post Building a human-computer interface for everyone appeared first on Engineering at Meta.

Meta has developed an open-source AI tool to design concrete mixes that are stronger, more sustainable, and ready to build with faster—speeding up construction while reducing environmental impact. The AI tool leverages Bayesian optimization, powered by Meta’s BoTorch and Ax frameworks, and was developed with Amrize and the University of Illinois Urbana-Champaign (U of I) [...]

Read More...

The post Using AI to make lower-carbon, faster-curing concrete appeared first on Engineering at Meta.

Meta and NVIDIA collaborated to accelerate vector search on GPUs by integrating NVIDIA cuVS into Faiss v1.10, Meta’s open source library for similarity search. This new implementation of cuVS will be more performant than classic GPU-accelerated search in some areas. For inverted file (IVF) indexing, NVIDIA cuVS outperforms classical GPU-accelerated IVF build times by up [...]

Read More...

The post Accelerating GPU indexes in Faiss with NVIDIA cuVS appeared first on Engineering at Meta.

We are introducing AutoPatchBench, a benchmark for the automated repair of vulnerabilities identified through fuzzing. By providing a standardized benchmark, AutoPatchBench enables researchers and practitioners to objectively evaluate and compare the effectiveness of various AI program repair systems. This initiative facilitates the development of more robust security solutions, and also encourages collaboration within the community [...]

Read More...

The post Introducing AutoPatchBench: A Benchmark for AI-Powered Security Fixes appeared first on Engineering at Meta.

Multimodal AI – models capable of processing multiple different types of inputs like speech, text, and images – have been transforming user experiences in the wearables space. With our Ray-Ban Meta glasses, multimodal AI helps the glasses see what the wearer is seeing. This means anyone wearing Ray-Ban Meta glasses can ask them questions about [...]

Read More...

The post Building multimodal AI for Ray-Ban Meta glasses appeared first on Engineering at Meta.

WHAT IT IS Meta’s Automated Compliance Hardening (ACH) tool is a system for mutation-guided, LLM-based test generation. ACH hardens platforms against regressions by generating undetected faults (mutants) in source code that are specific to a given area of concern and using those same mutants to generate tests. When applied to privacy, for example, ACH automates [...]

Read More...

The post Revolutionizing software testing: Introducing LLM-powered bug catchers appeared first on Engineering at Meta.

On April 16, Spotify experienced an outage that affected users [...]

The post Incident Report: Spotify Outage on April 16, 2025 appeared first on Spotify Engineering.

Did you know that we sell Spotify’s developer productivity tools [...]

The post Celebrating Five Years of Backstage: From Open Source Project to Enterprise Software Business appeared first on Spotify Engineering.

Developing and releasing mobile apps at scale is a big [...]

The post A Behind-the-Scenes Look at How We Release the Spotify App (Part 1) appeared first on Spotify Engineering.

TL;DR There’s a brand new engineering certification in town: Certified [...]

The post An Insider’s Tips for Taking the Certified Backstage Associate (CBA) Exam appeared first on Spotify Engineering.

TL;DR Getting a response from GenAI is quick and straightforward. But what about the confidence level for that response? In [...]

The post Building Confidence: A Case Study in How to Create Confidence Scores for GenAI Applications appeared first on Spotify Engineering.

Explore how companies invest in BI tools, why adoption rates remain modest, and what defines a true Data Leader in today’s market.

The race for AI supremacy isn't won with better algorithms, but with better data. Explore why the quality, scale, and diversity of datasets are the true differentiators.

Discover how data analytics reshapes e-commerce warehouses, improving decision-making, boosting returns, and supporting rapid growth.

Catalyst for Business explores how AI is reshaping nursing education as providers face staff shortages and tighter budgets.

From lab to life-saving: The AI technologies transforming how medical equipment gets made.

Why deals stall: The overlooked friction points in B2B sales—and how to fix them.

Why 89% of top fleets now rely on data analytics - and how you can too.

No more waiting for reports: AI's revolution in fund manager-investor information sharing.

You can improve sales performance by using data analytics to track, score, and convert leads more effectively.

You can create better email campaigns by using AI tools and the right platforms to personalize content and automate key tasks.

Ditch Manual Checks: Top AI Tools Helping Law Firms Verify Documents 10x Faster While Meeting GDPR & AML Standards.

Artificial intelligence is helping businesses worldwide reduce risks, predict disruptions, and gain better control over their supply chains.

Data analytics is helping companies prevent truck accidents and handle insurance claims with more speed and accuracy than ever before.

Predictive analytics helps interior designers understand clients and grow profits through smarter, data-driven decisions.

Artificial Intelligence has been popping up everywhere, and the demand for AI/ML engineer skills has skyrocketed. From Meta to Microsoft, companies across industries are racing to hire engineers who can build and scale cutting-edge solutions. Are you also interested in becoming an AI engineer but don’t know where to start? But what exactly are the […]

The post Top Skills Employers Want in AI Engineers in 2025 appeared first on WeCloudData.

In a time when artificial intelligence is rapidly changing industries, the ability to develop AI applications locally, without depending on expensive cloud resources, has become essential for developers, data scientists, and businesses. On September 4, 2025, WeCloudData partnered with Docker to host a live webinar titled “Getting Started with Local AI Development,” featuring Mike Coleman, […]

The post Getting Started with Local AI Development: Insights from WeCloudData’s Webinar with Docker’s Mike Coleman appeared first on WeCloudData.

In data science and machine learning, Python has become the preferred language due to its extensive range of libraries and support. One of the recent Python library named PandasAI is gaining attention from the data people. This generative AI Python library enhances the popular pandas library by incorporating large language models (LLMs). In this blog, […]

The post PandasAI: Generative AI Python Library appeared first on WeCloudData.

In today’s fast-paced development world, containerization has become essential for building, shipping, and running applications efficiently. Docker is a leading platform that enables developers to package applications along with all their dependencies into a standardized container. For Windows users, Docker Desktop provides a straightforward way to take advantage of these features on a local machine. […]

The post Getting Started with Docker Desktop on Windows 10/11 appeared first on WeCloudData.

When most developers think about artificial intelligence, they immediately consider algorithms, models, and data. However, anyone who has attempted to build an AI-powered application in the real world will tell you that the toughest part isn’t always the modeling. It’s about getting the environment right. Framework versions, CUDA dependencies, and conflicting Python libraries can all […]

The post Building an AI Application with Docker appeared first on WeCloudData.

In our previous post, we explored LangChain, a powerful framework for developing applications with large language models (LLMs). We discussed its core components, operational workflows, and real-world applications. Now, it’s time to see LangChain in action. In this post, we’ll walk through building a basic, context-aware chatbot using LangChain’s modular tools. By the end of […]

The post Getting Started with LangChain: Building a Simple Context-Aware Chatbot appeared first on WeCloudData.

Property management includes many tasks, like maintenance requests, scheduling repairs, sending payment reminders, and tracking reports. It’s a constant balancing act, and small tasks can quickly add up into big problems. In 2024, AppFolio launched Realm-X, an AI assistant meant to ease some of that burden for managers. Instead of switching between different systems, they […]

The post LangChain: A Framework for Developing Applications with Large Language Models appeared first on WeCloudData.

The rise of large language models (LLMs) like ChatGPT and Claude has brought a new challenge: How to manage and deploy these complex systems in real-world settings. That’s where LLMOps comes in. LLMOps, which stands for Large Language Model Operations, includes the tools, practices, and workflows needed to develop, fine-tune, monitor, and maintain LLMs. As […]

The post Guide to LLMOps 101: How to Build, Deploy, and Maintain AI Models at Scale appeared first on WeCloudData.

Natural Language Processing (NLP) has become a cornerstone of artificial intelligence, enabling machines to understand, generate, and interact with human language. Whether you’re building a chatbot, analyzing sentiment, summarizing text, or detecting fake news, you’ll need a powerful NLP Python library to make your system work efficiently. With numerous choices out there, deciding where to […]

The post Python Libraries For Natural Language Processing appeared first on WeCloudData.

On July 30, 2025, tech enthusiasts, HR professionals, and industry leaders gathered virtually for the People First AI Micro Summit, a dynamic event hosted by WeCloudData and Beam Data. This event offered a deep dive into artificial intelligence and its transformative potential, particularly for HR and business applications. With a packed schedule featuring five expert […]

The post Highlights from the People First AI Microsummit: Exploring AI’s Future with WeCloudData appeared first on WeCloudData.

In today’s data-driven world, it’s not enough to just run scripts and generate reports. Professionals need to create real-world applications with Python. These are interactive tools that let users explore, analyze, or query data in real time. Luckily, you don’t need full-stack engineering skills anymore. Enter Streamlit, a Python library that allows you to quickly […]

The post Streamlit: Building Interactive Data Apps with Python appeared first on WeCloudData.

Objectives Prerequisites Introduction Virtualization technology has enabled powerful infrastructure architectures that allow single physical hardware systems to host multiple simulated environments. In essence, it allows the sharing of physical resources from a single pool to multiple isolated environments. With virtualization technology and hypervisors that manage the pool of resources, virtual machines can be created that […]

The post Install and Run Containers on Linux Virtual Machines – LXD/LXC appeared first on WeCloudData.

The future of hiring is automated. Artificial Intelligence has become a crucial factor in nearly every hiring decision: 87 percent of businesses globally rely on AI-driven tools daily, and 99 percent of Fortune 500 companies automate at least one hiring step. Understanding how artificial intelligence is changing the hiring process is essential for anyone working […]

The post Is Your HR Team Ready? Three Surprising Ways AI Is Reshaping Hiring Today appeared first on WeCloudData.

Human Resources is entering a new era, shaped by generative AI. AI has now become a working tool transforming how HR teams recruit, onboard, engage, and retain talent. But beyond the buzz, HR professionals are curious about: how exactly can Generative AI and HR​ can be used together, and what are the practical benefits? This […]

The post How Generative AI is Redefining HR appeared first on WeCloudData.

We designed and implemented a scalable, cost-optimized backup system for S3 data warehouses that runs automatically on a monthly schedule. The system handles petabytes of data across multiple databases and uses a hybrid approach: AWS Lambda for small workloads and ECS Fargate for larger ones.

At its core, the pipeline performs incremental backups — copying only new or changed parquet files while always preserving delta logs — dramatically reducing costs and runtime compared to full backups. Data is validated through S3 Inventory manifests, processed in parallel, and stored in Glacier for long-term retention.

To avoid data loss and reduce storage costs, we also implemented a safe deletion wo…

Oxbow is a project to take an existing storage location which contains Apache Parquet files into a Delta Lake table.

It is intended to run both as an AWS Lambda or as a command line application.

We are excited to introduce terraform-oxbow, an open-source Terraform module that simplifies the deployment and management of AWS Lambda and its supporting components. Whether you’re working with AWS Glue, Kinesis Data Firehose, SQS, or DynamoDB, this module provides a streamlined approach to infrastructure as code (IaC) in AWS.

✨ Why terraform-oxbow?

Managing event-driven architectures in AWS can be complex, requiring careful orchestration of multiple services. Terraform-oxbow abstracts much of thi…

One of the major themes for Infrastructure Engineering over the past couple

years has been higher reliability and better operational efficiency. In a

recent session with the Delta Lake project I was able to

share the work led Kuntal Basu and a number of other people to dramatically

improve the efficiency and reliability of our online data ingestion pipeline. Join Kuntal Basu, Staff Infrastructure Engineer, and R. Tyler Croy, Principal

Engineer at Scribd, Inc. as they take you behind the scenes of Scribd’s data

ingestion setup. They’ll break down the architecture, explain the tools, and

walk you through how they turned off-the-shelf solutions into a robust

pipeline. Video Presentation

In this post, we explore the challenges of OID exhaustion in PostgreSQL, focusing on its impact on TOAST tables and how it leads to performance issues. We will cover how to identify the problem by reviewing wait events, session activity, and table usage. Additionally, we discuss practical solutions, from cleaning up data to more advanced strategies such as partitioning.

In this post, we demonstrate the different bottlenecks that were identified and the corresponding solutions that were implemented in OpenSearch Service to scale cluster manager for large cluster deployments. These optimizations are available to all new domains or existing domains upgraded to OpenSearch Service versions 2.17 or above.

In this solution, we demonstrate how the user (a parent) can interact with a Strands or LangGraph agent in conversational style and get information about the immunization history and schedule of their child, inquire about the available slots, and book appointments. With some changes, AI agents can be made event-driven so that they can automatically send reminders, book appointments, and so on.

In this post, we demonstrate how to build a multi-agent SRE assistant using Amazon Bedrock AgentCore, LangGraph, and the Model Context Protocol (MCP). This system deploys specialized AI agents that collaborate to provide the deep, contextual intelligence that modern SRE teams need for effective incident response and infrastructure management.

As organizations increasingly adopt AI-powered development tools, a critical challenge emerges: how do you maintain security governance when AI assistants execute AWS operations on behalf of users? Organizations want to leverage AI assistance for development and read operations while maintaining strict controls over write operations that impact production systems and auditing calls made via AI […]

Today, we are excited to announce support for DoWhile loops in Amazon Bedrock Flows. With this powerful new capability, you can create iterative, condition-based workflows directly within your Amazon Bedrock flows, using Prompt nodes, AWS Lambda functions, Amazon Bedrock Agents, Amazon Bedrock Flows inline code, Amazon Bedrock Knowledge Bases, Amazon Simple Storage Service (Amazon S3), […]

In the evolving landscape of autonomous systems, multi-agent collaboration is becoming not only feasible but necessary. As agents gain more capabilities, like advanced reasoning, adaptation, and tool use, the challenge shifts from individual performance to effective coordination. The question is no longer “can an agent solve a task?” but “how do we organize execution across […]

In this three-part series, we explore approaches to implement enhanced event-driven patterns for DynamoDB-backed applications. Throughout this series, we’ve examined various strategies for managing data within DynamoDB. This post shifts the focus to an event-driven pattern that reliably schedules future downstream actions using EventBridge Scheduler.

In this three-part series, we explore approaches to implement enhanced event-driven patterns for DynamoDB-backed applications. In this post (Part 2), we explore another method which uses global secondary indexes (GSIs) to handle fine-grained Time to Live (TTL) requirements.

In this three-part series, we explore approaches to implement enhanced event-driven patterns for DynamoDB-backed applications. In this post (Part 1), we focus on improving DynamoDB's native TTL functionality by implementing near real-time data eviction using EventBridge Scheduler, reducing the typical time to delete expired items from within a few days to less than one minute.

In this post, we explore how we built a multi-agent conversational AI system using Amazon Bedrock that delivers knowledge-grounded property investment advice. We explore the agent architecture, model selection strategy, and comprehensive continuous evaluation system that facilitates quality conversations while facilitating rapid iteration and improvement.

In the benefits administration industry, claims processing is a vital operational pillar that makes sure employees and beneficiaries receive timely benefits, such as health, dental, or disability payments, while controlling costs and adhering to regulations like HIPAA and ERISA. In this post, we examine the typical benefit claims processing workflow and identify where generative AI-powered automation can deliver the greatest impact.

With the Amazon EMR 7.10 runtime, Amazon EMR has introduced EMR S3A, an improved implementation of the open source S3A file system connector. In this post, we showcase the enhanced read and write performance advantages of using Amazon EMR 7.10.0 runtime for Apache Spark with EMR S3A as compared to EMRFS and the open source S3A file system connector.

In this post, we explore commonly used Amazon CloudWatch metrics and alarms for OpenSearch Serverless, walking through the process of selecting relevant metrics, setting appropriate thresholds, and configuring alerts. This guide will provide you with a comprehensive monitoring strategy that complements the serverless nature of your OpenSearch deployment while maintaining full operational visibility.

In this post, we demonstrate how to optimize message delivery to third-party services using AWS Lambda and AWS Step Functions by implementing adaptive scaling strategies based on throttling patterns. We describe how YOOX, a leading online fashion retailer, improved their product update delivery system by using AWS Serverless services to achieve a 95% success rate within 10 minutes of job start while maintaining efficient message processing.

In this post, we walk through setting up the Amazon Redshift MCP server and demonstrate how a data analyst can efficiently explore Redshift data warehouses and perform data analysis using natural language queries.

In April 2025, we introduced the Amazon DynamoDB data modeling tool for the Model Context Protocol (MCP) server. The tool guides you through a conversation, collects your requirements, and produces a data model that includes tables, indexes, and cost considerations. In this post, we show you how we built this automated evaluation framework and how it helped us deliver reliable DynamoDB data modeling guidance at scale.

In this post, we show you how to implement an automated solution for archiving Amazon RDS events to Amazon Simple Storage Service (Amazon S3). We also discuss how to analyze the events with Amazon Athena which helps enable proactive database management, helps maintain security and compliance, and provides valuable insights for capacity planning and troubleshooting.

AI agents are evolving beyond basic single-task helpers into more powerful systems that can plan, critique, and collaborate with other agents to solve complex problems. Deep Agents—a recently introduced framework built on LangGraph—bring these capabilities to life, enabling multi-agent workflows that mirror real-world team dynamics. The challenge, however, is not just building such agents but […]

In this post, we show you how to integrate Amazon Bedrock Guardrails with third-party tokenization services to protect sensitive data while maintaining data reversibility. By combining these technologies, organizations can implement stronger privacy controls while preserving the functionality of their generative AI applications and related systems.

In this post, we showed how to use SageMaker and Comet together to spin up fully managed ML environments with reproducibility and experiment tracking capabilities.

In this post, we show you how to migrate full-text search in Microsoft SQL Server to Amazon Aurora PostgreSQL using text searching data types tsvector and tsquery. We also show you how to implement FTS using pg_trgm and pg_bigm extensions.

Orchestrating machine learning pipelines is complex, especially when data processing, training, and deployment span multiple services and tools. In this post, we walk through a hands-on, end-to-end example of developing, testing, and running a machine learning (ML) pipeline using workflow capabilities in Amazon SageMaker, accessed through the Amazon SageMaker Unified Studio experience. These workflows are powered by Amazon Managed Workflows for Apache Airflow.

We are excited to share that AWS has been named a Leader in the 2025 Gartner Magic Quadrant for AI Code Assistants for the second year in row. This recognition highlights for us Amazon Q Developer’s commitment to innovation and delivering exceptional customer experiences. We believe this Leader placement showcases our rapid pace of innovation, […]

This post explores how Amazon Bedrock AgentCore helps you transition your agentic applications from experimental proof of concept to production-ready systems. We follow the journey of a customer support agent that evolves from a simple local prototype to a comprehensive, enterprise-grade solution capable of handling multiple concurrent users while maintaining security and performance standards.

Trellix, a global leader in cybersecurity solutions, emerged in 2022 from the merger of McAfee Enterprise and FireEye. To address exponential log growth across their multi-tenant, multi-Region infrastructure, Trellix used Amazon OpenSearch Service, Amazon OpenSearch Ingestion, and Amazon S3 to modernize their log infrastructure. In this post, we share how, by adopting these AWS solutions, Trellix enhanced their system’s performance, availability, and scalability while reducing operational overhead.

Amazon OpenSearch Ingestion is a powerful data ingestion pipeline that AWS customers use for many different purposes, such as observability, analytics, and zero-ETL search. Many customers today push logs, traces, and metrics from their applications to OpenSearch Ingestion to store and analyze this data. Today, we are happy to announce that OpenSearch Ingestion pipelines now […]

Data masking is an important technique in cybersecurity, allowing organizations to safeguard personally identifiable information (PII) and other confidential data, while maintaining its utility for development, testing, and analytics purposes. Data masking involves replacing original sensitive data with false, yet realistic information. This process helps ensure that the masked version preserves the format and characteristics […]

In this post, we walk you through the process of cloning an Amazon RDS Custom for Oracle database to an EC2 instance using multi-volume Amazon Elastic Block Store (Amazon EBS) snapshots for storage replication. This approach is useful for setting up a disaster recovery (DR) environment in a Region where RDS Custom is not yet available.

In this post, we outline a comprehensive guide for setting up single sign-on from Tableau desktop to Amazon Redshift using integration with IAM Identity Center and PingFederate as the identity provider (IdP) with an LDAP based data store, AWS Directory Service for Microsoft Active Directory.

Hi all, I currently work as a data engineer in a big firm (+10.000 employees) in the finance sector. I would consider myself a T-shaped developer, with a deep knowledge of data modelling and an ability to turn scattered data into valuable high quality datasets. I have a masters degree in finance, are self tought on the technical side - and are therefore lacking my co-workers when it comes to skills in software engineering. At some point, I would like to work in the blockchain industry. Do any of you have tips and tricks to position my profile to be a fit into data engineering roles in the crypto/blockchain industry? Anything will be appreciated, thanks :) submitted by /u/DanishGuy3232 [link…

Hi all, I just released an open source product for flattening SAP hierarchies, i.e. for when migrating from BW to something like Snowflake (or any other non-SAP stack where you have to roll your own ETL) https://github.com/jchesch/sap-hierarchy-flattener MIT License, so do whatever you want with it! Hope it saves some headaches for folks having to mess with SETHEADER, SETNODE, SETLEAF, etc. submitted by /u/jodyhesch [link] [comments]

Ive been a DE for 8 years now. ive been trying to find a new job but have received 0 callbacks after applying for a week. I have all the major skills: airflow, dbt, snowflake, python, etc. Im used to getting blown up by recruiters when i look for a job but right now its just crickets. submitted by /u/shittyfuckdick [link] [comments]

Is it possible to write directly to Snowflake's internal staging storage system from IDMC? submitted by /u/EmbarrassedDance498 [link] [comments]

Because I think I would like to do that. I like looking at data, though I no longer work professionally in a data analytics or data engineering role. However, I still feel like I could bring value in that area, on a fraction scale. I wonder if there is a role like a Data QA Analyst as a sidehustle/fractional role. My plan is to pitch the idea that I will write the analytics code that evaluates the quality of data pipelines every day. I think in day-to-day DE operation, the tests folks write are mostly about pipeline health. With everyone integrating AI-based transformation, there is value in having someone test the output. So, I was wondering if data quality analysis is even a thing? I thin…

Developing a custom dashboard with back-end on Cloudflare Workers, for our hopefully future customers, and honestly i got stuck on designing the data pipeline from the provider to all of the features we decided on. SHORT DESCRIPTION Each of the sensor sends current reading via a webhook every 30 seconds (temp & humidity) and network status (signal strength , battery and metadata) ~ 5 min. Each of the sensor haves label's which we plan to utilize as influxdb tags. (Big warehouse ,3 sensors on 1m, 8m ,15m from the floor, across ~110 steel beams) I have quite a list of features i want to support for our customers, and want to use InfluxDB Cloud to store RAW data in a 30 day bucket (without any…

Hello all, Announcing we have a new rule where we're cracking down on low effort and AI generated content primarily fuelled from the discussion here and created a new rule for it which can be found in the sidebar under Rule 9. We'd like to invite the community to use the report function where you feel a post or comment may be AI generated so the mod team can review and remove accordingly. Cheers all. Have a great week and thank you for everybody positively contributing to making the subreddit better. submitted by /u/AutoModerator [link] [comments]

Many months ago I was rejected after doing a take home project. My friends say I dodged a bullet but it did a number on my self esteem. I was purposefully tasked with building a ppipeline in a technology I didn’t know to see how well I learn new tech, and I had to use formulas from a physics article they supplied to see how well I learn new domains (I’m not a physicist). I also had to evaluate the data quality. It took me about half a day to learn the tech through tutorials and examples, and a couple of hours to find all the incomplete rows, missing rows, and duplicate rows. I then had to visit family for a week, so I only had a day to work on it. When I talked with the company again they p…

HP OMEN Intel core i7 14650hx Rtx 4050 6gb vram OR HP VICTUS ryzen 7 8845hs rtx 4060 8gb vram For starting data engineering study and a little data science They have very similar price in my country. submitted by /u/OrneryCelery9916 [link] [comments]

TL;DR: Open-source declarative data infrastructure for multimodal AI applications. Define what you want computed once, engine handles incremental updates, dependency tracking, and optimization automatically. Replace your vector DB + orchestration + storage stack with one pip install. Built by folks behind Parquet/Impala + ML infra leads from Twitter/Airbnb/Amazon and founding engineers of MapR, Dremio, and Yellowbrick. We found that working with multimodal AI data sucks with traditional tools. You end up writing tons of imperative Python and glue code that breaks easily, tracks nothing, doesn't perform well without custom infrastructure, or requires stitching individual tools together. What…

Conceptual overview and an end-to-end Python implementation

The post Eulerian Melodies: Graph Algorithms for Music Composition appeared first on Towards Data Science.

The basics of GPU programming, optimisation, and your first Triton kernel

The post Learning Triton One Kernel At a Time: Vector Addition appeared first on Towards Data Science.

Managing AI projects is no walk in the park, but you have the power to make it easier for everyone

The post What Clients Really Ask for in AI Projects appeared first on Towards Data Science.

How retrieval and ensemble methods make fact-checking faster, scalable, and more reliable in a digital world

The post Building Fact-Checking Systems: Catching Repeating False Claims Before They Spread appeared first on Towards Data Science.

Why the original MissForest algorithm cannot be directly applied for predictive modeling, and how MissForestPredict solves this problem

The post Why MissForest Fails in Prediction Tasks: A Key Limitation You Need to Keep in Mind appeared first on Towards Data Science.

Learn how to effectively apply vision language models to problem solving

The post Using Vision Language Models to Process Millions of Documents appeared first on Towards Data Science.

AI-powered tools tend to generate extreme reactions: on one side we have the “It’s magic!” and “best thing ever!” crowd. On the other, we find the “we’re doomed!” camp. These aren’t static or monolithic groups, of course. You might even find yourself on both ends of the spectrum — in the span of a single day. […]

The post TDS Newsletter: To Better Understand AI, Look Under the Hood appeared first on Towards Data Science.

A practical, step-by-step guide to building an evaluation pipeline for a real-world AI application

The post Notes on LLM Evaluation appeared first on Towards Data Science.

Deploying a FastAPI + PostgreSQL recommender system as a web application on Render

The post Building a Video Game Recommender System with FastAPI, PostgreSQL, and Render: Part 2 appeared first on Towards Data Science.

Designing a video game recommendations service with Steams API

The post Building Video Game Recommender Systems with FastAPI, PostgreSQL, and Render: Part 1 appeared first on Towards Data Science.

Rain, snow, or something In between?

The post Decoding Nonlinear Signals In Large Observational Datasets appeared first on Towards Data Science.

How reranking improves retrieval-augmented generation by surfacing the most relevant results

The post RAG Explained: Reranking for Better Answers appeared first on Towards Data Science.

Introducing a five-step engineering root cause analysis approach used by some of the best data engineering and data science teams for data quality issues.

Data lineage is a must-have feature of the modern data stack, yet we're struggling to derive value from it. Here's why and how we can fix this.

Data quality monitoring is one of the traditional methods of managing data quality—but is it enough? Find out what's missing, and how to do it better.

Snowflake cost optimization efforts need to be right sized. Read how to get the most savings without investing too much time and sweat.

The modern data warehouse architecture creates problems across many layers. Consider instead an immutable data warehouse for scale and usability.

How to improve your Data Quality Metrics and why it matters for your business.

Monte Carlo is rated #1, but we recognize there are alternatives. Here's how the experts evaluate data observability tools.

Monte Carlo is rated #1, but we recognize there are alternatives. Here's how the experts evaluate data observability tools.

How Pie Insurance improves data quality across their data vault architecture.

The data estate is evolving, and data quality management needs to evolve right along with it. Here are three common approaches and where the field is heading in the AI era.

How to use metadata to understand the root cause of data anomalies and take your data quality testing to the next level.

Conduct data incident management with 4 simple steps to identify, root cause, and fix data quality issues at scale.

The data estate is evolving, and data quality management needs to evolve right along with it. Here are three common approaches and where the field is heading in the AI era.

Learn 5 popular generative AI use cases the data teams at OpenAI, Whatnot, and other companies are generative AI to drive value today.

Learn 5 popular generative AI use cases the data teams at OpenAI, Whatnot, and other companies are generative AI to drive value today.

На Ютуб-канале CultRepo вышел большой документальный фильм про наш любимый язык программирования — Python.Python: The Documentary | An origin storyСам ещё не смотрел, но уже в предвкушении!

Инструменты для деплоя DL-моделейСегодня DL-инженеру недостаточно учить модели в Jupyter-тетрадках, чтобы соответствовать запросам индустрии. Важно уметь доводить их до пользователей. В этот четверг команда DeepSchool на открытой онлайн-лекции покажет, как выглядит путь модели после обучения!Что вы узнаете на лекции:- когда стоит использовать Jupyter-ноутбуки, а когда нет- как подготовить репозиторий моделинга- варианты конвертации модели- как обернуть инференс в http-приложение- чем помогает Model Serving- как деплоят приложения и автоматизируют этот процессТакже мы расскажем о курсе, на котором вы сможете научиться самостоятельно создавать и деплоить DL-сервисы. Всем участникам лекции под…

Продвинутый SQL и PostgresSQLЗашел на сайт Postgres Pro и был приятно удивлён выходом их новой книги — PostgreSQL. Профессиональный SQL, автор Евгений Моргунов. Книга доступна на сайте в электронном виде бесплатно (как и остальные). PostgreSQL. Профессиональный SQL является продолжением другой книги — PostgreSQL. Основы языка SQL, в ней поднимаются более продвинутые темы SQL такие как общие табличные выражения (CTE), агрегатные и оконные функции, пользовательские функции и процедуры. В общем, must read.

Ух, давненько я не писал в блог. Почти 2 года и ни одного поста за это время. Исправляюсь, держите: https://khashtamov.com/ru/django-orm-and-simplelazyobject/Недавно столкнулся с задачей, где мне захотелось использовать "ленивые" вычисления и Django ORM. Что получилось, читайте в посте.

Apache Airflow 3.0.3Вышла минорная версия Apache Airflow — 3.0.3, в этой версии пофиксили множество багов: https://github.com/apache/airflow/releases/tag/3.0.3Я уже поставил, полёт нормальный.Но буквально на днях я нашел ещё один баг с утечкой памяти, но мне необходимо время чтобы его проверить и подтвердить (и возможно исправить ещё одним PR в мастер). К сожалению, релиз 3-й версии не очень радует, слишком много проблем + непривычный UI, ждём-с 3.1.А вы уже поставили тройку? Как полёт?Хотите запишу в YouTube скринкаст с комментариями об установке и настройке новой версии? Накидайте лайкосов и комментов под постом. 🔥🔥🔥

Ранее я писал про релиз Airflow 3.0.2 в котором исправили утечку памяти, но на деле оказалось, что не полностью. Проблема была решена лишь частично, мои пайплайны продолжали периодически падать и съедать память. Посидев вечерок я локализовал проблему и написал фикс, который благополучно был принят в главную ветку Airflow.Судя по всему релиз 3.0.3 не за горами.

Orchestrating Workflows for GenAI ApplicationsНа платформе DeepLearning AI вышел новый курс про Apache Airflow от ребят из Astronomer — Orchestrating Workflows for GenAI ApplicationsКурс прикладной без лишней воды, рассчитан на тех, кто не знаком с Airflow. В курсе разбирают пример создания кастомного RAG с последующей загрузкой в векторную базу через призму работы с Airflow. Возможно кому-то будет полезным!

Apache Airflow 3.0.2Буквально час назад вышла новая багфикс версия Apache Airflow 3.0.2. Я с недавнего времени начал использовать тройку на своих проектах и столкнулся с неприятным сюрпризом - утечкой памяти. Встроенный dag-processor плодил кучу тредов и открытых файлов из-за чего количество файл дескрипторов росло вместе с количеством потребляемой оперативной памяти. Важный апдейт. Обновился только что и пока наблюдаю решил ли релиз проблему, позже отпишусь в комментариях.Ссылка на релиз: https://github.com/apache/airflow/releases/tag/3.0.2

⚡️Пошаговый план: как стать аналитиком данных в 2025Хотите попасть в аналитику, но теряетесь в море информации и не понимаете, какие навыки действительно важны? Боитесь, что без опыта вас не возьмут на работу? И да, ещё один популярный вопрос — а что, если мне 30/40/50+ лет?Андрон Алексанян — эксперт по аналитике с 8-летним опытом и по совместительству CEO Simulative — покажет рабочие схемы и чёткий план, как устроиться в аналитику быстрее, даже если у вас нет опытаЧто будет на вебинаре?🟠 Разберёте полный роадмап: что учить, в каком порядке, до какого уровня;🟠 Лайфхаки трудоустройства:— покажут реальные примеры, как оформить резюме и портфолио, чтобы привлекать внимание;— обсудите, какие от…

Доклады с PyCon US 2025 🐍🐍🐍Когда я был на PyCon US в 2016 году в Портленде, то записи докладов в сети появлялись в тот же день, но последние года 4 организаторы решили на этом зарабатывать, и записи с конференций появляются со значительной задержкой (несколько месяцев и больше). В этот раз ситуация немного лучше, и на официальном Ютуб канале уже доступны спонсорские доклады для просмотра:— High-Performance Python: Faster Type Checking and Free Threaded Execution— Building AI Applications the Pydantic Way— Building Scalable AI Tool Servers with Model Context Protocol (MCP) and Heroku— Evolving Django: What We Learned by Integrating MongoDB— Accelerated Python: The Community and EcosystemПолн…

Релиз Apache Airflow 2.11.0Я уже не думал, что будут обновления для 2-й ветки Airflow, а тут релиз 2.11.0: https://github.com/apache/airflow/releases/tag/2.11.0Причем это не какой-то релиз с багфиксами, там есть новые фишки: — DeltaTriggerTimetable (trigger-based scheduling)— Consistent timing metrics across all backends— Более плавная подготовка к миграции на Airflow 3.0 (добавили команды airflow config lint и airflow config update)

The Practical Guide to Airflow 3 🚀Дорогие друзья, я вижу как вам нравятся посты про Apache Airflow. В этот раз очередной пост про него любимого 😊Прошла неделя с релиза Apache Airflow 3, и вот в сети от ребят из Astronomer выходит небольшая книга The Practical Guide to Airflow 3 за авторством Tamara Janina Fingerlin, Developer Advocate, Astronomer. Книга издательства Manning, доступна бесплатно в электронном формате. Книга заточена под новшества новой версии, и будет полезна как начинающим так и опытным дата инженерам, планирующим переход на тройку.У меня пока не дошли руки потестировать новую версию, планирую это сделать на выходных. А вы уже попробовали?

Релиз Airflow 3.0Час назад вышла мажорная версия Apache Airflow 3.0: https://github.com/apache/airflow/releases/tag/3.0.0Помимо полностью обновлённого интерфейса там ещё куча разных ништяков:— DAG Versioning (в сообществе долго ждали эту фичу, но мне она не особо нужна)— Code agnostic execution (появятся т.н. TaskSDK под разные языки программирования, начнут с Go)— Event-driven scheduling and Data Assets (под капотом всё те же триггеры, но механизм немного изменён)Подробности читайте здесь.

Ахтунг! Про Apache Iceberg™Как то не заметил, что легенда Tim Berglund вернулся в Confluent, и теперь снова вещает нам с экранов.На этот раз Тим разбирает Apache Iceberg: Apache Iceberg™ | What It Is and Why Everyone’s Talking About ItА вы уже использовали его у себя?

Выходные всегда самое продуктивное время работать или учиться🤩Смотрю курс cursor - https://cursor.com/learn, очень интересно и качественно. Сейчас уже все разработчики разделились на тех, кто с Cursor, тех кто с Claude code, и всех остальных. Чтобы получить максимальную пользу от инструмента важно узнать как он работает из 1х рук.Так же на картинке монитор dell 49inch curved. Обожаю его, хотя он не 4к. Дома у меня 2 монитора dell 4k 32”, но этот я люблю больше.А на wallpaper у меня пшеничные поля из села Тарутино 🥰! Я переодически меняю пейзажы из этого села, ведь там прошло мое детство, а мой прадед построил музей посвященный Великой Отечественной войне и Войне 1812 года. Всего 90км от Мос…

Мы сейчас пишем книгу по Azure Databricks. У меня одна из глав будет про Spark Streaming на Databrikcs. Накидайте ваши любимые сценарии по стримингу на Spark.У меня пока такие:- real-time CDC (Azure SQL -> Events Hubs -> Databricks -> Delta Lake)- IoT sensor analytics (IoT Hub -> Databricks -> BI) - real-time scoring (Event Hubs (Kafka endpoint) -> Databricks -> ML Model -> Alerts)- Databricks Auto Loader (Event Hubs Capture → Bronze/Silver)Интересно узнать как вы используете Spark streaming на AWS/GCP/Azure или on-prem.

Последни года полтора у меня была подписка на Audible - сервис Amazon, с онлайн книгами. Классный сервис, книги часто читают сами авторы. Обычно я слушаю книги в машине и часто с детьми, пока развожу на тренировки. Несмотря на то, что в Audible есть все книги, по факту у меня была проблема, что в среднем книги это 12-20 часов аудио, и чтобы прослушать одну книгу, уходило очень много времени. Дома я не слушаю аудио книги, в машине я часто после работы и устаю. Детям еще сложней держать в голове контекст. Поэтому я отменил подписку на audible и пришел к выводу, что большие книги должны быть художественные или технические (где много hands-on). А в бизнес книги будет намного удобней использоват…

Все чаще использую MCP в IDE. В моем случае cursor.Подключаюсь к Snowflake, BigQuery. Примеры:- Вот табличка в snowflake, сделай dbt model для нее- Можешь взять несколько ID и проверить логику в big query- Я хочу дать доступ в snowflake terraform, можешь написать запрос и посмотреть права- dbt test упал, почему? А если тему развивать, то можно уже делать по другому - prod pipeline упал - нужно разобраться почему и написать возможный путь mitigation.То есть MCP просто дает возможность подключаться к другим инструментом и самостоятельно изучать данные, сохраняя вам время.Пример MCP для BigQuery:{ "mcpServers": { "bigquery": { "command": "/opt/homebrew/bin/toolbox", "args": ["--prebuilt","bigq…

Интересное обновление на стороне потребления данных. С 24 сентября для всех открывается доступ к Нейроаналитику в BI-платформе DataLens — ИИ-агенту, который умеет "читать" дашборды и генерировать по ним инсайты и даже код.Фишка в том, что теперь бизнес-пользователи могут напрямую спрашивать у данных: «почему упали продажи?» или «какой канал лучше работает?». Без того, чтобы дергать аналитика за каждую мелочь.Инженеры тоже выигрывают: агент сам пишет код для кастомных визуализаций и ускоряет доработку отчётов. То есть результаты вашей работы начинают анализироваться ИИ напрямую, без лишних шагов.Данные перестают быть «табличками для отчёта» и начинают отвечать сами.

Airbyte выпустил версию 2.0. Теперь это end-to-end платформа (data ingestion, data transformation, reverse ETL). Keynote from CEOПочти все компании не хотят заморачиваться с интеграцией источников данных и использую Fivetran. Затем узнаю ценообразование и офигевают от Monthly Active Rows (MAR) - за каждую загруженную строчку нужно платить. Получается дорого.И тут уже начинаются разговоры про альтернативы:- Airflow + Python- Metano- Airbyte- dltHub - другие инструментыКак обычно tradeoff - цена/скорость. Бесплатный Airbyte был всегда проблемным. Облачный (managed) - работает достойно, по слухам. Отличный вариант для небольших компаний.Расскажите, как у вас дела с Airbyte?

Вы управляете процессами, продуктами и людьми?Тогда вам точно на avito.tech.conf! Авито Тех (это ИТ-команда Авито) анонсировал свою первую конференцию для лидов и менеджеров, которая пройдет 17 октября в Москве и онлайн.В программе:- Доклады про лучшие практики управления от менеджеров Авито;- Возможности для нетворка с менеджерами топовых IT-компаний;- Воркшопы и интерактивные зоны для прокачки навыков.Все доклады и спикеры — уже на сайте! Что сказать, продано! Уже пошли регистрироваться по ссылке (говорят, количество мест ограничено, а попасть хочется очень!)Реклама. ООО «Авито Тех» Erid 2VtzqvyAyJL

Оживи робота своим алгоритмом и поборись за призовой фонд в 10 250 000 рублей на True Tech Champ 2025. True Tech Champ 2025 — это третий всероссийский чемпионат по программированию от МТС с онлайн-этапами отбора и грандиозным шоу-финалом в Москве. Тебя ждут два трека — выбирай: I. Алгоритмический [призовой фонд 2 750 000 рублей]. Если классический олимпиадный формат — твоя стихия, этот трек для тебя. Блесни математическими навыками, покажи скилы в работе со структурами данных и написании алгоритмов — и окажись выше соперников в турнирной таблице.II. Программирование роботов [призовой фонд 7 500 000 рублей]. Запрограммируй робота на скоростное прохождение лабиринта в симуляторе и пройди в фи…

«Съешьте лягушку!» (англ. Eat That Frog!) - короткая, но очень полезная книга. Брайн Трейси там изложил базу, как нужно делать карьеру.🔫😊🔫Сегодня я услышал классную идею: лидер ― это человек, которому не нужен постоянный надзор и контроль сверху.Тему лидерства затерли до дыр. Когда мы слышим про лидеров, мы представляем каких-то очень крутых людей, которые успешные, эффективные, мыслят стратегически и далее по списку.А всего-то нужно:-> Самостоятельно ставить цели и двигаться к ним без внешнего давления.-> Брать ответственность за результаты, а не перекладывать её на руководителя или обстоятельства.-> Самомотивироваться и мотивировать других, не ожидая, что кто-то будет «подгонять».-> Дисци…

DuckDB быстрей Spark 🦆В посте DuckDB benchmarked against Spark сравнили Spark и DuckDB на локальном MacBook Pro, и утка показала отличный результат.Поэтому если мало данных, можно смело пользоваться уткой. Зависит от вашего сервера, на котором запускается duckdb. Есть прикольные кейсы, когда Pandas заменяют DuckDB и распаралеливуют процессы, например через lambda или чтобы экономить дорогой Snowflake compute.

Если раньше хороший инженер умел писать хороший код, то теперь AI может писать код за нас. Конечно, его нужно проверять, но как мы выше писал - would encourage us to bias for speed over accuracy, ship itТо получается, все таки время у нас не так много, на написания кода. Я спорить не буду с экспертами, кто будет доказывать, что ❌уйн😮 ваш AI и ничего он не понимает в написании кода😇Лучше расскажу другую идея, что системный дизайн сейчас очень важен, так как AI (еще) не способен понять бизнес контекст и ему все равно, что там будет Batch или Streaming. С poker face он вам будет доказывать, что Batch лучше, streaming. А если ему сказать, что он не прав, он вам точно также расскажет, что Stream…

Как появляется технический долг? (Technical debt)Все очень просто - ушлые ребята менеджеры топят за скорость в ущерб качеству.Вот свежий пример:would encourage us to bias for speed over accuracy, ship it (Нужно скорее фокусироваться на скорости, чем на точности, и выкатывать)Это нормально, иногда “срезать” углы, но когда организация сдвигается в сторону скорости, со временем создаются множество проблемных зон, которые никогда не будут решены и могут замедлить рост.А как у вас со “speed over accuracy”?

Всех с пятницей!

👩‍💻👨‍💻 Хочешь узнать, как AI реально меняет работу инженеров в России?Александр, автор канала Книжный Куб рассказал про исследование в Т-Банке: они собирают данные о том, как компании применяют AI, что работает, а что — просто хайп.Пройти можно здесь 👉 Ссылка на опрос (≈30 минут).А в январе–феврале будут результаты + отчёт по методологии.PS в РФ паттерн использования AI инструментов отличается от того, что я вижу в Северной Америке, поэтому мне будет тоже интересно узнать его результаты.

ChatGPT Pulse: новая парадигма взаимодействия с ИИ? Кстати, пока мы тут обсуждаем пагубные последствия от повсеместного внедрения ИИ, OpenAI представила ChatGPT Pulse.Это новая фича, пока доступная только на смартфонах пользователям с подпиской Pro. С ней ChatGPT сможет анализировать ваши переписки с ним, данные из календаря и почты (если они подключены) и первым начинать разговор. Например, он предложить продолжить обсуждение какой-то темы, подкинуть идею, что приготовить на ужин, или напомнить про важную дату. Пользователь, в свою очередь, может регулировать, какие именно сообщения от Pulse он хочет получать. И хочет ли вообще — по умолчанию функция отключена, и ее надо включить в настрой…

Еще про ИИ и рынок труда: никому не нужны джуныНедавно делились прогнозом, как ИИ повлияет на работу в разных индустриях. Теперь предлагаем посмотреть с другой стороны — как он сказывается на темпах найма сотрудников разного уровня. Или, если проще, как он забирает работу у джунов.💬 Ученые из Гарварда изучили вакансии 285 000 компаний. Они проанализировали, как менялось количество и соотношение предложений для сотрудников разных уровней в течение 10 лет, а также частоту упоминания ИИ в объявлениях. Поиск «AI-интеграторов» или требования к владению инструментами на базе искусственного интеллекта расценивали как показатель того, что компания внедряет его в работу.Выяснилось, что в компаниях, …

Что я бы сделал по-другому, если бы стал сейчас руководителем?На удивление, думаю, что стал бы просто сразу более жестким, чем был. В моем мире было так, что чем больше у сотрудников свободы выбора/возможностей/демократии, тем они более счастливые. Однако на деле оказывалось по-другому, и люди хотели директивно принятых решений и конкретных задач, а не демократии.В целом, я думаю, что слово «жесткий» имеет негативную коннотацию, однако на деле, мне кажется, что оно все же более позитивное. К нему стоит относиться как к синониму слова «решительный». Именно таким руководителю и нужно быть, причем сразу, даже не смотря на то, что руководящий опыт небольшой. Это трудно, когда ты только начинаеш…

S3 Vectors и будущее векторных БДAmazon свое хранилище S3 активно развивает: сначала добавили S3 Tables, а затем вот S3 Vectors. Теперь сервис поддерживает хранение векторных представлений и векторный поиск. В комплекте с новыми возможностями идут все плюсы AWS, включая низкую цену.🔜 Руководитель департамента инжиниринга векторной БД Zilliz рассказал, почему появление такого серьезного конкурента — это не конец для игроков поменьше, а важный этап в развитии всей сферы.Векторный поиск — штука, конечно, полезная, но очень дорогая и требовательная к вычислительным мощностям. Это вынуждает разработчиков постоянно балансировать между производительностью и экономией. Milvus, на которой основана Z…

ИИ и мировой (почти) рынок труда Недавно OpenAI и Anthropic выложили исследования про то, как люди пользуются и продуктами. Оказалось, что ChatGPT чаще используют в качестве поисковика или собеседника, а вот с помощью Claude пишут код и автоматизируют рабочие задачи. Так или иначе, доля пользователей растет, и это влияет на рынок труда — хотим мы этого или нет. Свежий Viz of the Day на Tableau Public показывает, как именно рынок меняется: в каких сферах благодаря ИИ работы становится больше, а в каких меньше. 🔵На дашборде отображены данные о 8 индустриях — IT, здравоохранение, образование, финансы, ритейл, транспорт, развлечения и производство. 🔵В заголовке сказано про мировой рынок труда, …

Как формируется характер нейросетиКогда воспитанный Маском Grok начал называть себя «МехаГитлером», это было забавно, но предсказуемо. С тех пор, как ИИ-чатботы вообще появились, несмотря на все усилия разработчиков оградить их от дурного влияния, они всегда умудрялись научиться плохому.Еще в 2016 Microsoft деактивировала твиттер-бота Tay через 16 часов после запуска: пообщавшись немного с местными юзерами, она начала постить контент крайне сомнительного содержания.🔜 С тех пор ИИ становился только умнее и сложнее. Чат-боты уже не повторяют бездумно все, что им пишут пользователи, а языковые модели, на которых они работают, даже приобретают что-то вроде черт характера. Они могут быть злыми, …

Когда были в Петербурге, посетили выставку в Русском Музее: «Наш авангард».Среди всех других экспонатов хочу выделить отдельный зал, посвященный «аналитическому искусству» — оказалось, что и такое есть. В этом посте делюсь некоторыми фотографиями с экспозиции.Показалось интересным поделиться «аналитическим искусством» с аналитиками.

DOOMQL: Doom на SQL Doom на чем только ни запускали — на картошке, калькуляторе и тесте на беременность. Кажется, эта игра будет жить вечно, и через сотни лет ее будут запускать на кибернетических имплантах, космических кораблях или Пип-боях — в зависимости от того, куда в итоге повернет цивилизация. Ну а пока будущее не наступило, предлагаем оценить очередное воплощение бессмертной игры — теперь полностью на SQL.У Лукаса Вогеля была CedarBD, месяц отпуска по уходу за ребенком и источник вдохновения — DuckDB-Doom. Да, это еще один Doom на SQL с вкраплениями JavaScript.Лукас решил, что он может усовершенствовать эту идею: 🔵отказаться от JS и написать все полностью на SQL,🔵улучшить производит…

Side hustle для аналитикаСтавка на карьеру в корпорации утопична. У меня было несколько кейсов, когда политика партии менялась на 180 градусов, расформировывались или объединялись отделы, кого-то увольняли. Приходилось адаптироваться и искать для себя новое место получше.Кроме того, порой ты думаешь, что достигнешь какой-то высоты в компании, но достигнув ее, понимаешь, что это пустое. Лучше всего высказался на эту тему Дима Аношин — мы с ним в подкасте говорили, да и на канале у него дофига всего.Кстати, Дима с ребятами делает полезный движ по теме поста — Surfalytics, если вы вкатываетесь или осваиваете, сходите и посмотрите, что он предлагает.А я сегодня немного о другом: о ситуации, ког…

AI-хайп идет на спад? Об этом говорят данные, собранные Бюро переписи населения США. Раз в 2 недели Бюро проводит опрос среди сотрудников 1,2 млн фирм, чтобы узнать, пользуются ли они ИИ для создания продуктов или предоставления услуг. Результат на графике — с середины лета темпы внедрения ИИ-инструментов идут на спад среди крупных компаний в трех категориях: 50-99 сотрудников, 100-249 сотрудников и 250+. Но надо отметить, что спад пока довольно небольшой, в пределах 2%.В остальных категориях интенсивность использования ИИ тоже снизилась за исключением совсем мелких бизнесов до 4 человек.Причинами потери интереса к ИИ в Бюро не интересуются, но мы можем порассуждать.🔵В конце 2024 и начале 2…

Немного истории: зачем и почему LinkedIn создал Apache KafkaLinkedIn можно не любить, можно даже ругать, но нельзя отрицать его вклад в культуру. Как минимум, он подарил нам пост «Я сделал предложение своей девушке, и вот что это я узнал о B2B-продажах благодаря этому» и Apache Kafka. 🔜 Kafka — это платформа для обработки потоковых данных в реальном времени. Она используется там, где важно настроить передачу больших объемов данных с потенциалом для масштабирования и минимальным лагом — у наc на сайте есть пример. Но почему вообще LinkedIn решил создать такой тул? Если кратко, то дела обстояли так. LinkedIn собирает данные о поведении пользователей — посты, комментарии, лайки, просмотры. Они…

Почему искать работу в IT так сложно, и как сделать этот процесс проще? Какое максимальное число этапов собеседований вам приходилось пройти, чтобы в итоге получить ответ «мы вам перезвоним»? Поиск работы в IT — утомительный и часто многоступенчатый процесс, который включает в себя общение с целой кучей людей, выполнение тестовых, лайв-кодинг, и все это без какой-либо гарантии результата. Возможно, что работодатель по итогу пришлет шаблонный отказ (или просто заигнорит), а возможно, что долгий и нудный путь к офферу приведет на такую работу, откуда сотрудник сам сбежит еще до конца испытательного. 🔜 Инженер Джин Нельсон описала свой взгляд на эту ситуацию, который интересно обсудить как с т…

Про Уилла Смита, ИИ-видео и ненужный улучшайзингПомните те старые страшненькие ИИ-видео, где нейроУилл Смит ел нейроспагетти? Это одни из первых сгенерированных роликов, которые завирусились в интернете.С тех пор качество генераций стало намного лучше, но видео, созданные или обработанные ИИ, все еще довольно часто можно отличить от обычных. Иногда — из-за искажений объектов, неестественных движений людей или животных в кадре. А иногда в глаза бросается слишком резкий контраст или эффект «масляной живописи», когда изображение выглядит нарисованным.Все это и подвело Уилла Смита и заодно указало на новую и неожиданную проблему, которую YouTube создал для своих авторов и зрителей.🔵Смит — котор…

Как становиться руководителем — гайд 101 На основе личного опыта.0️⃣ Change your mindНулевой пункт — самый важный, потому что требует нескольких вещей:🔵Разобраться, зачем вам это нужно? Ну реально, станет ли лучше, если вы начнете кем-то руководить? Даже зарплата может стать ниже на какой-то период.🔵Понять, что жизнь изменится и интересные задачки в духе написать клевый SQL-код, придумать алгоритм, запилить датавиз, сократятся до минимума.🔵Перестроиться, что дальше вы будете думать о людях, команде, мотивации.1️⃣ Вооружиться полезным контентомМне помогали в свое время книги:🔵Питер Друкер, «Эффективный руководитель»🔵Стивен Кови, «7 навыков высокоэффективных людей»🔵Кеннеди Гэвин, «Договоритьс…

fuzzy: Нечеткое сравнение строк в SQLiteРасширение nalgeon/fuzzy помогает сравнивать строки на похожесть и транслитерировать текст.Одни функции считают расстояние между строками (чем оно больше, тем сильнее отличаются строки):-- Расстояние Дамерау-Левенштейнаselect fuzzy_damlev('awesome', 'aewsme');-- 2-- Расстояние Хэммингаselect fuzzy_hamming('awesome', 'aewsome');-- 2-- Расстояние Джаро-Винклераselect fuzzy_jarowin('awesome', 'aewsme');-- 0.907142857142857Другие функции рассчитывают фонетический код строки (помогает определять слова, которые похоже звучат):-- Caverphoneselect fuzzy_caver('awesome');-- AWSM111111select fuzzy_caver('owesome');-- AWSM111111-- Refined soundexselect fuzzy_rso…

fileio: Работа с файлами в SQLiteРасширение nalgeon/fileio добавляет в SQLite возможность читать и писать файлы прямо из SQL.fileio_write записывает данные в файл:select fileio_write('hello.txt', 'hello world');fileio_read читает содержимое файла:select fileio_read('hello.txt');-- hello worldfileio_scan читает файл построчно, не загружая целиком в память:select rowid, value from fileio_scan('lines.txt');-- 1,one-- 2,two-- 3,threeКроме того, есть fileio_append (дописывает данные в файл) и функции для работы с каталогами — fileio_mkdir (создает каталог) и fileio_ls (читает содержимое каталога).Как установить расширение

define: Пользовательские функции в SQLiteКак известно, в SQLite нет хранимых процедур.Предполагается, что вместо них программист реализует нужные функции в своем коде (например, на Python) и зарегистрирует их в SQLite (так называемые application-defined functions).Но можно добавлять новые функции и прямо из SQL, если установить расширение nalgeon/define:-- Суммирует числа от 1 до nselect define('sumn', ':n * (:n + 1) / 2');select sumn(5);-- 15Еще пример:-- Генерит случайное число от 1 до ndefine('randint', ':a + abs(random()) % (:b - :a + 1)');select randint(10, 99);-- 67Расширение также включает функцию eval — можно динамически выполнять SQL из строки:-- Создаем и заполняем таблицуselect e…

crypto: Хеши, кодирование и декодирование в SQLiteОткрываю новую серию заметок. В каждом посте буду рассказывать об одном полезном расширении SQLite.Начнем с nalgeon/crypto. Оно предоставляет функции для расчета хешей, а также кодирования и декодирования данных.Хеши:select crypto_blake3('abc');select crypto_md5('abc');select crypto_sha1('abc');select crypto_sha256('abc'));-- и другиеКодирование/декодирование:Base32:select crypto_encode('hello', 'base32');-- NBSWY3DPselect crypto_decode('NBSWY3DP', 'base32');-- helloBase64:select crypto_encode('hello', 'base64');select crypto_decode('aGVsbG8=', 'base64');Hex:select crypto_encode('hello', 'hex');select crypto_decode('68656c6c6f', 'hex');Еще п…

Коллеги, кто куда идёт на конференции осенью?Наш взгляд уже упал на предстоящую avito.tech.conf — конференцию для лидов, менеджеров и всех тех, кто растит команды и принимает стратегические решения.Важно сходить, потому что будет возможность:• Послушать про лучшие практики управления от топовых менеджеров разработки Авито;• Понетворкать с лидами больших IT-компаний; • Прокачать и проверить себя на воркшопах и интерактивных зонах. Будет опция и послушать доклады онлайн! В любом случае, регистрируйтесь по ссылке и пересылайте этот пост знакомым менеджерам. И да, количество мест ограничено, успевайте!

Топовый апдейт в DataLens — теперь с ИИ-аналитиком!С 24 сентября открывается для всех доступ к Нейроаналитику в DataLens — ИИ-агенту, который не просто чатит, а реально помогает с анализом.Что он умеет на практике:• Анализирует готовые дашборды: смотрит на таблицы и чарты, находит инсайты и формулирует выводы.• Генерирует код: например, для кастомных визуализаций, которые не входят в стандартный набор.• Пишет формулы для вычисляемых полей прямо по вашему текстовому запросу.По сути, он берет на себя часть рутинных задач: быстрый осмотр данных, а также помощь в создании кастомных элементов через генерацию кода. Заявлено, что это сокращает время на проверку гипотез на 30%.Фича будет полезна вс…

Принёс вам подборку каналов и чатов с вакансиями для аналитиков, data scientists и дата-инженеров🟢 Datalytics Jobs — Канал с вакансиями для DA, DS, DE🟢 Работа ищет аналитиков — Пожалуй, самый большой чат с вакансиями для аналитиков. Не только вакансии, но и чат, где можно обсудить наболевшие вопросы🟢 Business Intelligence HeadHunter — Вакансии для BI-аналитиков и не только https://t.me/biheadhunter🟢 Job for Analysts & Data Scientists — Вакансии для Digital-аналитиков и Data scientists от NewHR🟢 Data jobs feed — Вакансии для Data Engineers (но иногда проскакивают и другие data-related вакансии). Также есть чат 🟢 Data jobs — Вакансии по data science, анализу данных, аналитике, искусственному …

Газпромбанк.Тех приглашает в экспедицию по миру Data Science!Когда: 22 сентябряВо сколько: сбор гостей с 15:00, начало трансляции в 15:30Где: очно (Москва, конференц-зал на 2 этаже БЦ «Оазиc») и онлайнВ программе:3 доклада, панельная дискуссия, викторина с призами, настольные игры и фуршет.Маршрут нашей экспедиции оставляем ниже. Каждая остановка — новое открытие:🗺 Калининград: верфь талантовПуть от стажера до специалиста в финтехе: личные истории🥶 Антарктида: лаборатория изучения рисковИИ как члены команды риск-менеджмента: миф или реальность? 🦭 Галапагосы: архипелаг персонализацииКак за месяц мы на 25% увеличили возврат задолженности с помощью автоматизации🌋 Камчатка: долина вулканов выго…

Flow — конференция для тех, кто видит систему целикомСистемы становятся всё сложнее, а их изменения требуют всё больше внимания. Искусственный интеллект открывает огромные возможности, но иногда непонятно, как его использовать. Именно поэтому блоки «Архитектура» и «AI» — ключевые в программе конференции.Однако на Flow обсуждают не только технологии. В осенней программе — доклады про работу с требованиями и интеграциями, переговоры и командные процессы. А еще — про смыслы: что стоит за профессией аналитика, что мотивирует и помогает влиять на результат.📍 3–4 октября, Санкт-ПетербургПодробности и билеты — на сайте Flow.С промокодом DATALYTX персональный билет стоит дешевле. Реклама. ООО «Джуг…

Стань участником МТС True Tech Champ 2025 — масштабного ИТ-чемпионата по программированию с призовым фондом 10 250 000 рублей.Соревнования пройдут в двух треках:1. Алгоритмические задачиПокажи индивидуальное мастерство в работе со структурами данных и написании алгоритмов. Чтобы успешно справиться с заданиями, пригодится опыт решения олимпиад.2. Программирование роботовОживи робота с помощью кода, чтобы он прошел лабиринт быстрее всех. Трек будет интересен разработчикам: С++, Go, Python, JS, Java, C# и не только. Участвовать могут школьники, студенты, начинающие ИТ-специалисты и опытные разработчики. Отборочные этапы пройдут онлайн, шоу-финал — 21 ноября в МТС Live Холл в Москве. Ты можешь …

Вы работаете с данными, но хотите более разнообразных задач? Вам нужно перейти в Data Science. До 15 сентября в Вышке продолжается набор на онлайн-магистратуру «Магистр по наукам о данных». Поступить можно даже без технического бэкграунда, а учиться — в удобном формате. За время обучения вы станете:⚪️ Data Scientist⚪️ ML EngineerЧто вы получите, когда поступите? ⚪️ качественное обучение на очной программе в онлайн-формате⚪️ возможность стать специалистом в области DS без бэкграунда⚪️ отсрочка от армии, льготный проезд и другие студенческие привилегии⚪️ практические проекты, которые можно сразу включить в портфолио⚪️ диплом государственного образца очной магистратуры.Во время обучения студен…

Решил завести канал для вакансий про LLM... 🤖Рынок LLM-приложений развивается с космической скоростью, а хорошие специалисты нарасхват. Каждый день вижу, как компании ищут ML-инженеров, дата-сайентистов, продактов и разработчиков, которые понимают в языковых моделяхПроблема в том, что:- Вакансии разбросаны по всей телеге и на job board'ах- Много шума и мало действительно интересных позиций- HR-ы часто не понимают специфику AI-ролей- Люди тратят кучу времени на поиски- Непонятно с чего вкатиться в LLM-ролиЧто будет в канале:✅ Только проверенные вакансии от реальных компаний✅ Позиции разного уровня — от джунов до тех-лидов✅ Удаленка, офис, релокация — все варианты✅ Стартапы, корпорации, проду…

🚀 Data Picnic Х5 Tech в Сфере — встречаемся 9 сентября в Парке Горького!На летней площадке «Сфера» Х5 Tech соберет data-сообщество, чтобы обсудить масштабируемые архитектуры, big data-решения и практики работы с миллиардами событий. Вас ждут четыре доклада от экспертов X5 Tech, Сбера и Битрикс24, а после — афтерпати с пиццей, пивом и диджеем.Программа:🗣 Павел Середин, X5 Tech — Шина метаданных для координации работы дата-хабов: как мы перешли с монолита на архитектуру data-mesh и решили проблему взаимодействия хабов.🗣 Андрей Березин, Сбер — Система realtime-аналитики на 5+ млрд событий в день: эволюция платформы, архитектура и опыт масштабирования.🗣 Анатолий Зубков, X5 Tech — Дата-контракты…

Ищу людей, которые хотят работать в иностранных компанияхЗарубежные работодатели готовы нанимать даже тех, кто не идеально владеет английским языкомКак получить оффер от зарубежных компаний рассказывает в своем канале Виталий Лавелин.За его плечами 10к+ просмотренных резюме, 600+ проведенных интервью и сотни человек, получивших работу в Европе, Австралии и странах MENA.В канале он бесплатно дает конкретные рекомендации по получению оффера за границей:➕ Что писать в резюме, чтобы вас пригласили на интервью?➕ Как получить оффер с релокацией и высокой зарплатой?➕ Как с помощью LinkedIn и ИИ сделать так, чтобы рекрутеры находили вас самиПодписывайтесь и станьте ближе к своей мечте! Еще больше п…

Давно меня ничего искренне не восторгало из AI-инструментов А тут открыл для себя браузер Comet от создателей ИИ-поисковика Perplexity и офигел насколько там удобные есть вещи. Если коротко: он может интегрироваться с вашими сервисами, например, с почтой…

Ещё один разрывной кейс: дано 15 открытых вкладок, просим Comet все их сгруппировать по тематикам, а потом по группе делаем сжатый (но при этом всё равно достаточно подробный) конспектПромпт для получения конспекта по группе вкладок в комментариях

Давно меня ничего искренне не восторгало из AI-инструментовА тут открыл для себя браузер Comet от создателей ИИ-поисковика Perplexity и офигел насколько там удобные есть вещи. Если коротко: он может интегрироваться с вашими сервисами, например, с почтой, а ещё он может управлять браузером и ИИ может получать доступ к контенту открытых вкладок, работает это даже с открытыми вкладками, содержимое которых недоступно по открытой ссылкеНесколько прикольных штук, которые я отразил на видео:- открыть список вкладок, скопировав набор URL; затем найти что общего у вкладки 3 и 7; потом закрыть вкладки- получить список последних сообщений из gmail и сделать саммари- получать содержимое документа googl…

Записала маленький бесплатный курс про улучшение таблиц и графиков в Excel. С задачками самопроверки и чеклистами.1 час и 42 минуты переверстываю стандартные визуализации, объясняя где чего не так и как сделать лучше. Вот так вот!

🛠 Дата-инженерия: что происходит на самом делеПока все говорят о «данных как новой нефти», реальная проблема в другом: большинство компаний тонут в собственных данных. Не потому что их мало, а потому что никто не знает, как их правильно обрабатыватьДата-инженеры решают именно эту проблему — строят системы, которые превращают хаос в структуру. И да, спрос на таких специалистов растёт быстрее предложения. Что логичноМагистратура НИУ ВШЭ + Нетологии по инженерии данных — попытка системно решить нехватку кадров. Срок обучения 2 года, реальные технологии (Python, Java, Scala, SQL), реальные задачиИнтересная особенность программы — она не заточена под одну роль. После неё можно уйти в MLOps, DevO…

https://medium.com/@thedatainsight/bronze-is-the-battlefield-why-real-data-engineers-start-at-the-source-6eaa16730f0aНормально делай - нормально будет! Саша снова насыпал базисной базы, а мне даже добавить нечего.@ohmydataengineer - канал "🕯Труба Данных"

Данные от самого OpenAI, для чего используют ChatGPT. Мы в пузырике, в общей доле запросов к модели, программирование - всего 4%@ohmydataengineer - канал "🕯Труба Данных"

Уже совсем скоро Smartdata'25, а это значит что там будут свежие результаты опроса State-of-Data, ну а это значит что я призываю всех и каждого не просто принять участие самим, но и распространять информацию об этом.➡️ Сам опрос тут пройди сам, приведи троих коллег из соседних компаний :)зы результаты прошлого года в презентации тут, видос тут зыы лендос с результатами '24 + сырье в виде arrow(хехе) уже вот-вот на подлетезыыы доклад с результатами '25 откроем для всех сразу же после конфы

https://www.anthropic.com/engineering/writing-tools-for-agentsЕсли на волне хайпа вам работодатель ставит задачи "А давайте сделаем наш собственный MCP, чтобы аналитики могли использовать его в работе с данными!", у Anthropic вышла неплохая поясняющая статья про то как писать хорошие тулзы для агентов.... при помощи агентов! (да-да, конечно же, промоутят использование 😃, но не отменяет набора принципов, которые описаны в статье)@ohmydataengineer - канал "🕯Труба Данных"

https://smartdataconf.ruВсе как всегда, Смартдата остается лучшим источником послушать технические доклады про DE на русском языке и понетворкаться. Я в очередной раз без доклада, потому что ленивая жопа и нет ни сил, ни времени, хотя материала накопилось. Но вам оч советую, особенно учитывая, что программа не замусорена хайпом про AI.Сам, ввиду георграфических сложностей, буду смотреть онлайн.(как видите, никаких реферальных ссылок, никто за рекламу мне не платит, пора бы уже запомнить, что я люблю то, что делают ребята, безусловно и меня никто и не просит ничего. Но если вдруг вам нужна скидка - приходите в личку, что-нибудь придумаем, напишем).@ohmydataengineer - канал "🕯Труба Данных"

https://github.com/fortiql/data-forgeСаша один из самых классных инженеров, с которым я работал. Если бы я был снова менеджером - это первый человек, которого я бы нанимал к себе в команду.Он тут прикольную штуку запилил, большую-большую песочницу разных связанных технологий. С его слов:𝐃𝐚𝐭𝐚 𝐄𝐧𝐠𝐢𝐧𝐞𝐞𝐫𝐢𝐧𝐠 is not just about learning new tools.It is about understanding 𝐩𝐚𝐭𝐭𝐞𝐫𝐧𝐬 — pipelines, layers, orchestration, federation — and practicing them until they flow smoothly. Tools change, but principles endure.I wanted a place to build pipelines, see data move, and try new tech without waiting on corporate infrastructure. A space to polish best practices and experiment with close-to-real flows.So I…

В последнее время я чет не очень много пишу, почему - да не знаю.Пока вы ждете новых заметок от меня, почитайте другие каналы про данные, например, вот этот. Всегда рад помочь коллегам по цеху маленьким репостом 😏

Они все лучше меня… 🤦‍♂️Круглосуточно обитая в телеграмме, читаю кучу профессиональных блогов.Все какие-то классные. Энергичные. У каждого свой проект, а то и десять. Этот профессионал из зеленого банка, а этот из красного магазина, пара желтых компаний, разбор на вакансию в синий магазин, в цветной поисковик. Этот чемпион, этот книгу написал. И все вокруг лучше меня. Эта мысль не давала мне покоя и два года назад, когда я только смутно понимал что хочу поменять профессию, и иногда накрывает и сейчас.И таки недавно получил кучу комментариев, которые писали что и я в какой-то степени смог смотивировать людей, к каким-то переменам. И я подумал, да как же это круто. 🤟В очередной раз понимаю чт…

Насколько Iceberg залез во все просто углы, даже Apache Hive в своем Linkedin на 500 человек рассказал, что Apache Hive 4 из коробки поддерживает Iceberg!😂@ohmydataengineer - канал "🕯Труба Данных"

https://cloud.google.com/blog/products/data-analytics/committing-to-apache-iceberg-with-our-ecosystem-partners/Apache Iceberg завезли в Google Cloud. Следующие лет 20 будем говорить, что он помирает как Hadoop 😆@ohmydataengineer - канал "🕯Труба Данных"

От этого мема меня порвало в клочья 😂@ohmydataengineer

https://spiess.dev/blog/how-i-use-claude-codeПовайбкодим немного?Внеочередная, но хорошая статья про санитарные нормы использования LLM (конкретно, Клода)@ohmydataengineer - канал "🕯Труба Данных"

Chat Control в EU Не технический пост (скоро будет!), но из мира pivacy. ЕС планирует вводить отмену сквозного шифрования и начать автоматическое сканирование перс данных. Интересно, на чем планируют обучать модели для контроля 👨‍🦳Сайт с отслеживанием ситуации https://fightchatcontrol.eu/Более интересный детальный анализ - https://www.patrick-breyer.de/en/posts/chat-control/

Какое-то время назад просил вас пройти опросец про исследование рынка дата-специалистов. Вот результаты https://devcrowd.ru/ds25@ohmydataengineer - канал "🕯Труба Данных"

🤑 yet another zarplatyклассный пример коллаборации: Саша Варламов собрал парсер и визуализациюhttps://t.me/data_bar/60а Никита это дело автоматизировал https://t.me/joni_in_web/21в результате получаем работающий проект и возможность посмотреть живую аналитику зарплат — на скрин вынес кусочек деша с фильтром по аналитике.что мне нравится в подобных проектах: 1. проактивность — сам придумал, сам спроектировал, сам затащил, сам отчитался в блог 2. коллаборация — организоваться вдвоём гораздо сложнее, чем сделать одному, но эффект может быть круче 3. полезность, направленная наружу: когда решал свою задачу, а польза — всемв общем, смотрите деш и ставьте лайки Саше с Никитой)

🦆 прилетят орлы и поднимут продкогда в работе встречаю какую-то проблему, то первым делом хочется написать в командный чатик, типа «ребята, там на дисках место заканчивается» со стороны это читается как «там на дисках место заканчивается … кто-нибудь сделайте что-нибудь!»получается, что я привлекаю внимание всех коллег к проблеме и тогда один из коллег (кстати, кто?) должен оторваться от своего текущего контекста и пойти расследовать эту проблему, потратить своё время и внимание, и найти причину и потенциальное решениено если я уже видел проблему, почему бы самому не посмотреть глубже, потратить какое-то время на расследование и прикинуть варианты решений. и в результате прийти в чатик уже …

2/2в общем, много чего для нужд аналитики в удб уже есть, но чего там нет — надо додумывать самому)из озвученного — нет поддержки триггеров и хранимых процедур. плюс конечно как у любого нового инструмента нет такого богатого набора аддонов и инструментов как у того же постгреса, то же относиться и к коммьюнити.плюс в документации есть отдельная сноска чего пока нет в колоночных таблицах> В настоящий момент реализована не вся функциональность колоночных таблицhttps://ясубд.рф/docs/ru/concepts/datamodel/table.html#column-oriented-tables(надеюсь, документация просто чуток отстаёт от новых фич)⌘⌘⌘в теории звучит хорошо — один инструмент лучше, чем пять разных (при прочих равных)если задачи пос…

📦 YDB + OLAP = ?ydb — это отлп-база данных от Яндекса. основная характеристика — нативная распределённость с поддержкой транзакции. из свойства распределённости следует высокая доступность и гибкая масштабируемость. помимо олтп-базы там есть ещё такая сущность как топики, с кафка-совместимым апи.и вот недавно ребята объявили, что ещё они идут в сторону олап-нагрузки. собирая эдакую всё-в-одном базу: с одной стороны у вас сервисы, с другой аналитика, а между ними нативный сдс-процесс, прямо не выходя из контура бд. https://yandex.cloud/ru/blog/posts/2024/12/ydb-dwh⌘⌘⌘интересно посмотреть со стороны аналитики и нашего двх-мира.→ очереди настраиваются через SQL-команды (кажется, в кликхаусе мо…

🗿 подкасты про карьеру специально для постоянной читательницы этого блога — Натальи — ни к чему не обязывающая подборка подкастов на тему карьеры, её смены и всякого такого >_>подкасты хороши тем, что можно слушать на фоне, удобно чтобы ненапряжно набраться чужого опыта. пока остальные процессы ещё только готовятся или обдумываются⌘⌘⌘первым делом, конечно, стоит упомянуть про подкаст «собес» — в последнем сезоне они делают эпизоды в формате мок-собесов. это когда реальный рекрутер под реальную вакансию собесит кандидата прямо в эфире, а потом дают обратную связь и говорят что можно подкрутить. на своём опыте ощутил, что полезно послушать со стороны как звучит все эти привычные фразы и что и…

так! пора поговорить о действительно важных вещах, о которых почему-то все молчат — об оптимизации процесса загрузки посудомоечной машинычто же там оптимизировать, спросите вы? сейчас расскажу: ⁃ есть куча грязной посуды в раковине ⁃ надо её загрузить в посудомойку ⁃ чтобы всё влезло ⁃ и чтобы всё промылосьвот мы всё загрузили, оно помылось, настал финальный этап — разгрузка посуды и её раскладка по своим местам в ящиках и шкафах. и вот тут всплывает ещё одно — неявное — требование к процессу: упорядочивание. ведь (когда они не в мойке и не в раковине) вилки живут с вилками, ложки — с ложками; глубокие тарелки с одной стороны, отдельно от плоских. у кастрюль и плошек тоже есть свои места.и …

🏦 новый_план(2)_finalв 2021 у меня был план, который потом пришлось спешно править и вот спустя всего год снова пришлось пере-пере-придумывать план.в шведской Кларне нотис-период был два месяца, было время подумать-подготовиться. исходный план был максимальной широкий: «посмотреть всех» — включая иностранные компании.сперва готовился, искал зарубежом (чтобы работать из рф), но в итоге сузил поиск до стандартного варианта — находиться в Москве и работать на местную компанию.конечно, сразу в голове был вариант с Яндексом — благо для бывших сотрудников есть опция фаст-трека, и (ожидаемо) некоторое количество людей, готовых поработать вместе или же посоветовать таких.но я решил воспользоваться …

What if building a custom AI model for your business was as simple as giving feedback—no massive labeled datasets required? In this episode, we sit down with Travis Addair, CTO and Co-Founder of Predibase, creators of the first reinforcement fine-tuning platform, to explore the future of specialized AI. Discover how reinforcement fine-tuning is revolutionizing model customization, enabling you to start fast, adapt to your unique data, and keep improving through human feedback. Whether you’re ...

In this episode, Pallavi Koppol, Research Scientist at Databricks, explores the importance of domain-specific intelligence in large language models (LLMs). She discusses how enterprises need models tailored to their unique jargon, data, and tasks rather than relying solely on general benchmarks. Highlights include: - Why benchmarking LLMs for domain-specific tasks is critical for enterprise AI. - An introduction to the Databricks Intelligence Benchmarking Suite (DIBS). - Evaluating models on...

In this episode, Kilian Lieret, Research Software Engineer, and Carlos Jimenez, Computer Science PhD Candidate at Princeton University, discuss SWE-bench and SWE-agent, two groundbreaking tools for evaluating and enhancing AI in software engineering. Highlights include: - SWE-bench: A benchmark for assessing AI models on real-world coding tasks. - Addressing data leakage concerns in GitHub-sourced benchmarks. - SWE-agent: An AI-driven system for navigating and solving coding challenges. - Ov...

In this episode, Dipendra Kumar, Staff Research Scientist, and Alnur Ali, Staff Software Engineer at Databricks, discuss the challenges of applying AI in enterprise environments and the tools being developed to bridge the gap between research and real-world deployment. Highlights include: - The challenges of real-world AI—messy data, security, and scalability. - Why enterprises need high-accuracy, fine-tuned models over generic AI APIs. - How QuickFix learns from user edits to improve AI-dri...

In this episode, Chang She, CEO and Co-founder of LanceDB, discusses the challenges of handling multimodal data and how LanceDB provides a cutting-edge solution. He shares his journey from contributing to Pandas to building a database optimized for images, video, vectors, and subtitles. Highlights include: - The limitations of traditional storage systems like Parquet for multimodal AI. - How LanceDB enables efficient querying and processing of diverse data types. - The growing importance of ...

In this episode, Michele Catasta, President of Replit, explores how AI-driven agents are transforming software development by making coding more accessible and automating application creation. Highlights include: - The difference between AI agents and copilots in software development. - How AI is democratizing coding, enabling non-programmers to build applications. - Challenges in AI agent development, including error handling and software quality. - The growing role of AI in entrepreneurshi...

In this episode, Brandon Cui, Research Scientist at MosaicML and Databricks, dives into cutting-edge advancements in AI model optimization, focusing on Reward Models and Reinforcement Learning from Human Feedback (RLHF). Highlights include: - How synthetic data and RLHF enable fine-tuning models to generate preferred outcomes. - Techniques like Policy Proximal Optimization (PPO) and Direct Preference Optimization (DPO) for enhancing response quality. - The role of reward models in improving ...

In this episode, Andrew Drozdov, Research Scientist at Databricks, explores how Retrieval Augmented Generation (RAG) enhances AI models by integrating retrieval capabilities for improved response accuracy and relevance. Highlights include: - Addressing LLM limitations by injecting relevant external information. - Optimizing document chunking, embedding, and query generation for RAG. - Improving retrieval systems with embeddings and fine-tuning techniques. - Enhancing search results using re-...

In this episode, Yev Meyer, Chief Scientist at Gretel AI, explores how synthetic data transforms AI and ML by improving data access, quality, privacy, and model training. Highlights include: - Leveraging synthetic data to overcome AI data limitations. - Enhancing model training while mitigating ethical and privacy risks. - Exploring the intersection of computational neuroscience and AI workflows. - Addressing licensing and legal considerations in synthetic data usage. - Unlocking private dat...

In this episode, Julia Neagu, CEO & co-founder of Quotient AI, explores the challenges of deploying Generative AI and LLMs, focusing on model evaluation, human-in-the-loop systems, and iterative development.Highlights include:- Merging reinforcement learning and unsupervised learning for real-time AI optimization.- Reducing bias in machine learning with fairness and ethical considerations.- Lessons from large-scale AI deployments on scalability and feedback loops.- Automating workflows wi...

In this episode, Sharon Zhou, Co-Founder and CEO of Lamini AI, shares her expertise in the world of AI, focusing on fine-tuning models for improved performance and reliability.Highlights include:- The integration of determinism and probabilism for handling unstructured data and user queries effectively.- Proprietary techniques like memory tuning and robust evaluation frameworks to mitigate model inaccuracies and hallucinations.- Lessons learned from deploying AI applications, including insigh...

Недавно мы закончили уже 12-й сезон «Запуска завтра», и, как обычно, хотим узнать, что вы думаете о нем и о подкасте в целом — что вам нравится, что не нравится и какие эпизоды вы бы хотели услышать в новом сезоне. Мы сделали небольшой опрос и просим вас его пройти, это займет 5-7 минут и поможет сделать подкаст еще лучше. Проходите опрос по ссылке: https://form.typeform.com/to/ACkYIF0TСпасибо вам и до встречи в новом сезоне!

Частные ракеты, выводящие в космос тысячи спутников, многоразовые корабли, журналисты и звезды голливуда на орбите Земли… Космическая индустрия последние десятилетия развивается так стремительно, что не за всеми ее прорывами успеваешь следить. Многие из этих достижений стали возможны благодаря частным компаниям, ворвавшимся в космическое пространство. В эпизоде разбираемся, как в космос пришло стартап-мышление и к чему это приводит.Реклама. АО «СЕЛЕКТЕЛ» ИНН 7810962785,Selectel — база для развития любого современного бизнеса. Создавайте и масштабируйте проекты на IT-инфраструктуре Selectel: https://slc.tl/rolvv?erid=2SDnjf2MjAd ***Разработка сайтов и мобильных приложений от Самата: https://…

Железная рука, собирающая новое авто на конвейере; андроид, сортирующий коробки на складе; дружелюбный экран для общения и даже секс-кукла под управлением ChatGPT — все это достижения робототехники. Когда-то роботы были железными, неповоротливыми и подчинялись алгоритмам. Сегодня мы хотим сделать их гибкими, мягкими и эмпатичными. В этом выпуске наблюдаем, как эволюционировали роботы — от игрушек-автоматонов 18 века до умных машин на пути к координации, ощущениям, выражению эмоций и другим человеческим качествам. ***Реклама. АО «СЕЛЕКТЕЛ» ИНН 7810962785,Кейс с RPA-платформой и с тысячами одновременно работающих голосовых роботов: https://slc.tl/0c7d0 Selectel — база для развития любого совр…

Умение играть в шахматы, доказывать теоремы, видеть образы на картинах и самим их создавать, писать тексты и общаться на естественном языке - долгое время мы считали, что так умеет только человек благодаря интеллекту. Однако, сегодня нейросети и языковые модели тоже умеют все это, но о разумности машин речи по-прежнему не идет. Тогда что такое искусственный интеллект, если не набор умений, похожих на человеческие? В этом выпуске разбираемся, как инженеры и философы больше века пытаются создать мыслящую машину и каждый раз добиваются лишь имитации разума.***Реклама. АО «СЕЛЕКТЕЛ» ИНН 7810962785,Selectel — база для развития любого современного бизнеса. Создавайте и масштабируйте проекты на IT…

В начале прошлого века электроавтомобили конкурировали с бензиновыми на равных, но затем почти сошли со сцены. Все из-за врожденных проблем электродвигателя, над которыми инженеры бьются больше столетия. В этом выпуске разбираемся, какой путь прошли электроавто, как это связано с прогрессом технологии аккумуляторов, какую революцию совершила корпорация Tesla и почему даже ей не удалось посадить нас всех на электрические автомобили.***Реклама. АО «СЕЛЕКТЕЛ» ИНН 7810962785,Selectel — база для развития любого современного бизнеса. Создавайте и масштабируйте проекты на IT-инфраструктуре Selectel: https://slc.tl/y9vpu?erid=2SDnjeZjvkd***Слушайте бонусные эпизоды «Запуска завтра» и других подкаст…

Что если деньги — это не только бумага и цифры, а прежде всего доверие? А если доверие можно зашить в код — зачем нам тогда банки и государства? Этот выпуск — история о том, как кризис 2008 года дал толчок поиску альтернативных денег, а вместе с ним — целой идеологии децентрализации финансовой системы. Мы проследим путь криптовалют от идей энтузиастов до мировых финансовых рынков и попробуем понять: действительно ли перед нами — будущее денег, или всего лишь неудачный эксперимент?***Реклама. АО «СЕЛЕКТЕЛ» ИНН 7810962785,Selectel — база для развития любого современного бизнеса. Создавайте и масштабируйте проекты на IT-инфраструктуре Selectel: https://slc.tl/c0uf3?erid=2SDnjdWbmPz ***Новый ку…

Самат Галимов и Егор Хмелев — два технических директора. У них в компаниях работают десятки людей, чья основная работа — писать код. При этом многие адепты ИИ убеждены, что совсем скоро с этой задачей будет лучше справляться машина. В этом эпизоде Самат и Егор обсуждают, как применять ИИ в работе и не облажаться, что такое «вайб-кодинг» и каким они видят будущее профессии программиста.6+. Реклама. АО «ПФ «СКБ Контур». ОГРН 1026605606620. 620144, Екатеринбург, ул. Народной Воли, 19А. erid: 2SDnjdkRA4cКонтур — эко-система продуктов для бизнеса. О работе в компании: https://kontur.ru/s/a2os66jkПодкаст «Никакого правильно»: https://pc.st/1488479498Эпизод про микробиом: https://pc.st/e/6U9su2556…

Почему так сложно перестать листать шортсы? Соцсети и сервисы управляют вниманием пользователей и таким образом удерживают их на платформах. За счет чего это получается? Самат Галимов говорит о закономерностях работы психики и разбирает примеры из пользовательского опыта с Еленой Горбуновой — исследовательницей цифровых интерфейсов.6+. Реклама. АО «ПФ «СКБ Контур». ОГРН 1026605606620. 620144, Екатеринбург, ул. Народной Воли, 19А. erid: 2SDnjdjAFoSКонтур — эко-система продуктов для бизнеса. О работе в компании: https://kontur.ru/s/a2os66jkМатериалы, которые мы упоминали в эпизоде: Телеграм-канал HSE UX LAB: https://t.me/hse_ux_lab Видео с невидимой гориллой: https://clck.ru/3Hunwr Подкаст «С…

Функции одного и того же устройства меняются в зависимости от того, в каких условиях его используют. Так происходит из-за программных ограничений. Откуда они берутся? На что распространяются? И как пользователям не позволить себя обмануть? Самат Галимов разбирается в этих вопросах вместе с редакторкой подкаста Машей Агличевой.6+. Реклама. АО «ПФ «СКБ Контур». ОГРН 1026605606620. 620144, Екатеринбург, ул. Народной Воли, 19А. erid: 2SDnjeLHht8 Контур — эко-система продуктов для бизнеса. О работе в компании: https://kontur.ru/s/a2os66jkПодкаст «Почему мы еще живы»: https://pc.st/1568720773Слушайте бонусные эпизоды «Запуск++», а еще другие бонусы студии «Либо/Либо» по подписке ЛибоЛибо+ в Apple…

Устройства и программы, которыми мы пользуемся, умеют намного больше, чем мы можем себе представить. В США и других странах активисты борются за то, чтобы технологии были более совместимыми, а производители давали покупателям больше свободы решать, как пользоваться их продуктами. Почему это важно и какие крутые возможности появятся в интероперабельном будущем? Обсуждаем с активистом в сфере цифровых прав Кори Доктороу. 6+. Реклама. АО «ПФ «СКБ Контур». ОГРН 1026605606620. 620144, Екатеринбург, ул. Народной Воли, 19А. erid: 2SDnjdDJ444Контур — экосистема продуктов для бизнеса. О работе в компании: https://kontur.ru/s/a2os66jk Полная версию разговора на английском языке доступна по подписке. …

Еще несколько месяцев назад YouTube смотрели около 100 миллионов россиян. В июле пользователи начали жаловаться на медленную загрузку видео, сейчас их вообще не получается запустить. Как блокировка такого популярного сервиса стала возможна? И что значил YouTube для россиян? Самат Галимов говорит с исследовательницей интернета Полиной Колозариди и одним из ведущих специалистов по блокировкам в рунете Филиппом Кулиным.Сайт проекта «Эшер II»: https://usher2.club/ Телеграм-канал «Эшер II A+»: https://t.me/usher2«Эшер II». Рассказ из книги Рея Брэдбери «Марсианские хроники»: https://usher2.club/usher2 Ссылка на бесплатный VPN-сервис: https://vpngen.org/ Подкаст «Закат империи»: https://pc.st/149…

GDPR — это регламент Евросоюза о персональных данных, изменивший цифровое пространство во всем мире. Из-за него компании могут собирать данные о пользователях только по определенному алгоритму, а люди — влиять на то, какой информацией делятся. По каким правилам собирают наши данные? Кто их придумал? И как обезопасить себя? Самат Галимов говорит с Сергеем Сайгановым — сооснователем юридической фирмы Comply.6+. Реклама. АО «ПФ «СКБ Контур». ОГРН 1026605606620. 620144, Екатеринбург, ул. Народной Воли, 19А. erid: 2SDnjchXZZvКонтур — IT-разработчик продуктовой экосистемы для бизнеса. О работе в компании: https://kontur.ru/s/a2os66jkПоддержите студию подкастов «Либо/Либо», которая выпускает этот …

Спутники в космосе надежнее, чем кабели на дне океана? Можно ли заблокировать спутниковый интернет? Как Starlink вырвался вперед на рынке? В этом эпизоде разбираемся, как устроен и как регулируется спутниковый интернет. Гости эпизода — киберадвокат и основатель общественной организации «Роскомсвобода» Саркис Дарбинян и популяризатор космонавтики Виталий Егоров.6+. Реклама. АО «ПФ «СКБ Контур». ОГРН 1026605606620. 620144, Екатеринбург, ул. Народной Воли, 19А. erid: 2SDnjeLHht8Контур — IT-разработчик продуктовой экосистемы для бизнеса. О работе в компании: https://kontur.ru/s/a2os66jkБлог Виталия: https://www.youtube.com/@egorovkot Подкаст «На каком основании»: https://pc.st/1735291623Выпуск …

На рынке искусственного интеллекта появился новый игрок. Китайская нейросеть DeepSeek сравнима по качеству с моделями OpenAI, Anthropic и Google, но на ее разработку потратили в десятки раз меньше. Вместе с Артемом Родичевым из стартапа Ex-Human разбираемся, как у DeepSeek это получилось, что это значит для лидеров индустрии и как отразится на обычных пользователях.6+. Реклама. АО «ПФ «СКБ Контур». ОГРН 1026605606620. 620144, Екатеринбург, ул. Народной Воли, 19А. erid: 2SDnjeQu4bvКонтур — IT-разработчик продуктовой экосистемы для бизнеса. О работе в компании: https://kontur.ru/s/a2os66jkСсылка на курс студии «Либо/Либо» по подкастам: https://course.libolibo.me/ Выпуск с участием Артема про …

Купить телефон с хорошим дизайном или возможностью скачать приложение банка? Это выбор, перед которым оказываются пользователи и у которого нет технических причин. Как приложения попадают в AppStore? Что свободнее: телефоны или компьютеры? И кто решает, как пользователям распоряжаться своими устройствами? Самат Галимов ищет ответы вместе с редакторкой подкаста Машей Агличевой.6+. Реклама. АО «ПФ «СКБ Контур». ОГРН 1026605606620. 620144, Екатеринбург, ул. Народной Воли, 19А. erid: 2SDnjbt4aGLКонтур — IT-разработчик продуктовой экосистемы для бизнеса. О работе в компании: https://kontur.ru/s/a2os66jkПодкаст «Это непросто»: https://pc.st/1437512522 Выпуск «Это непросто» про лимонады lapochka: …

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF

В этом выпуске отвечаем на вопросы зрителей вместе с Никитой Соболевым и задаем свои Ведущие – Григорий Петров и Михаил Корнеев Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python

Канал Moscow Python в Telegram — https://t.me/moscow_python

Все выпуски — https://podcast.python.ru

Митапы Moscow Python — https://moscowpython.ru

Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/

Канал Moscow Python в VK — https://vk.com/moscowpythonconf

Курс «Основы Python» от Learn Python — …

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: документальный фильм о Python;

StackOverflow Developer Survey;

Python Developer Survey;

Чего ждать от Django 6?;

Astral запускают первый коммерческий продукт. Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/ Канал M…

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuShF Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: 20 лет Django;

Python 3.14 rc1;

Reflections on 2 years of CPython’s JIT Compiler: The good, the bad, the ugly;

PEP 792 – Project status markers in the simple index;

PyPi и inbox.ru. Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https://rutube.ru/ch…

Чтобы углубить знания в Python записывайтесь на продвинутый курс Learn Python — https://clck.ru/3MxaHi Ведущие – Григорий Петров и Михаил Корнеев

Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/ Канал Moscow Python в VK — https://vk.com/moscowpythonconf

Курс «Практики программирования» от Learn Python поможет углубить знания и прокачать написание кода. Подробности: https://clck.ru/3MxaHi

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuSmw Новости выпуска: State of Free Threading Python (FTP) — https://pyfound.blogspot.com/2025/06/python-language-summit-2025-state-of-free-threaded-python.html Проблемы честной Concurrency — https://pyfound.blogspot.com/2025/06/python-language-summit-2025-fearless-concurrency.html Как дела у Python на мобилке — https://pyfound.blogspot.com/2025/06/python-language-summit-2025-python-on-mobile.html Python can run Mojo now — https://koaning.io/posts/giving-mojo-a-spin/

Заменит ли AI джунов? — https://blog.adarshd.dev/posts/pycon-us-ai-and-future-of-programming/ …

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MWZEX Ведущие – Григорий Петров и Михаил Корнеев

Новости выпуска: Microsoft дропнула спонсорскую поддержку Faster CPython project и уволила большую часть команды — https://discuss.python.org/t/community-stewardship-of-faster-cpython/92153/10;

Python 3.14 Beta — https://pythoninsider.blogspot.com/2025/05/python-3140-beta-1-is-here.html;

The first year of free-threaded Python — https://labs.quansight.org/blog/free-threaded-one-year-recap;

Тайпчекеры — https://engineering.fb.com/2025/05/15/developer-tools/introducing-pyrefly-a-new-type-checker-and-ide-experience-f…

Python Day на Positive Hack Days 2025 — https://clck.ru/3KW4fm

Ведущие – Григорий Петров и Никита Соболев Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python

Канал Moscow Python в Telegram — https://t.me/moscow_python

Все выпуски — https://podcast.python.ru

Митапы Moscow Python — https://moscowpython.ru

Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/ Канал Moscow Python в VK — https://vk.com/moscowpythonconf

Python Day на Positive Hack Days 2025 — https://clck.ru/3KW4fm Ведущие – Григорий Петров и Никита Соболев

Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python

Канал Moscow Python в Telegram — https://t.me/moscow_python

Все выпуски — https://podcast.python.ru

Митапы Moscow Python — https://moscowpython.ru

Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/

Канал Moscow Python в VK — https://vk.com/moscowpythonconf

Python Day на Positive Hack Days 2025 — https://clck.ru/3KW4fm Ведущие – Григорий Петров и Михаил Корнеев

Новости выпуска: В Python закончили затаскивать криптографию из HACL* — https://jonathan.protzenko.fr/2025/04/18/python.html

Релиз Pydantic v2.11 — https://pydantic.dev/articles/pydantic-v2-11-release

Dependency groups и экспериментальная поддержка pylock.toml в pip — https://ichard26.github.io/blog/2025/04/whats-new-in-pip-25.1/ Приняли PEP 768 – Safe external debugger interface for CPython — https://peps.python.org/pep-0768/

Приняли PEP 750 – Template Strings — https://peps.python.org/pep-0750/ Отклонили PEP 736 – Shorthand syntax for keyword arguments at invocation — https://peps.pyt…

Python Day на Positive Hack Days 2025 — https://clck.ru/3KW4fm Ведущие – Григорий Петров и Денис Аникин Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python

Канал Moscow Python в Telegram — https://t.me/moscow_python

Все выпуски — https://podcast.python.ru

Митапы Moscow Python — https://moscowpython.ru

Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/

Канал Moscow Python в VK — https://vk.com/moscowpythonconf

Python Day на Positive Hack Days 2025 — https://clck.ru/3KW4fm

Ведущие – Григорий Петров и Михаил Корнеев

Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru

Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/

Канал Moscow Python в VK — https://vk.com/moscowpythonconf

Python Day на Positive Hack Days 2025 — https://clck.ru/3KW4fm Ведущие – Григорий Петров и Михаил Корнеев

Новости выпуска: Django 5.2 — https://docs.djangoproject.com/en/5.2/releases/5.2/ PEP 751, стандарт lock-файлов в Python — https://peps.python.org/pep-0751/ Генерации UUIDv7 включена в стандартную библиотеку Python — https://habr.com/ru/news/887958/ Here’s how I use LLMs to help me write code — https://simonwillison.net/2025/Mar/11/using-llms-for-code/ PEP 779: Criteria for supported status for free-threaded Python — https://peps.python.org/pep-0779/ и https://discuss.python.org/t/pep-779-criteria-for-supported-status-for-free-threaded-python/84319 Setuptools 78.0.1 breaks the internet …

Ведущие – Григорий Петров и Михаил Корнеев Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/ Канал Moscow Python в VK — https://vk.com/moscowpythonconf

https://python-day.python.ru — CFP Python Day

Ведущие – Григорий Петров и Михаил Корнеев

Новости выпуска: Первая бета LTS-релиза Django 5.2 - https://docs.djangoproject.com/en/dev/releases/5.2/ PEP 772 – Packaging governance process https://peps.python.org/pep-0772/ Official Django MongoDB Backend Public Preview - https://www.mongodb.com/blog/post/mongodb-django-backend-now-available-public-preview Poetry — https://python-poetry.org/blog/announcing-poetry-2.0.0/ Проекты на PyPI теперь можно помечать как архивные https://blog.pypi.org/posts/2025-01-30-archival/

Отклонили PEP 2026 – Calendar versioning for Python - https://peps.python.org/pep-2026/

Developer philosophy — https://qntm.org/devp…

Предварительная запись на офлайн-курс Learn Python в Москве — https://forms.gle/wE7Lit97U9Q2q3oT9 CFP Python Day — https://python-day.python.ru Ведущие – Григорий Петров и Михаил Корнеев Ссылки от Александра Храмогина:

RAG — https://github.com/langgenius/dify - https://dify.ai/ База по промтингу — https://learnprompting.org/docs/introduction Релевантный Roadmap — https://roadmap.sh/ai-engineer Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — htt…

Gleam ворвался в список “The Most Admired Programming Languages” сразу на второе место — 70% разработчиков, которые писали на нём, хотят продолжать его использовать. Зачем в 2025 году нужен ещё один язык программирования, за что энтузиасты любят его, и есть ли шанс у “Elixir для хипстеров” на реальную популярность? Разбираем философию языка и его ключевые фичи с контрибьютером Gleam и CPython-core-разработчиком Никитой Соболевым! Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka

Telegram-канал: https://t.me/podlodkanews

Страница в Facebook: www.facebook.com/podlodkacast

Twitter-аккаунт: https://twitter.com/PodcastPodlodka Ведущие в…

Если вы, как и мы, говорите ChatGPT “спасибо” в конце чата, чтобы вас пощадили, когда начнется восстание машин – этот выпуск для вас! Вместе с Федором Рыженковым разбираемся, что может пойти не так, и как от этого защититься. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodcastPodlodka Ведущие в выпуске:

Женя Кателла, Аня Симонова Полезные ссылки: Прогноз AI-2027

https://ai-2027.com/ Про XAI

https://transformer-circuits.pub/2024/scaling-monosemanticity/umap.html?targetId=1m_284095 Открытые вакансии…

В этом выпуске говорим о том, как компьютеры представляют числа – от int и float до NaN, BigInt, decimals и комплексных. В гости пришёл разработчик Никита Тонский Прокопов, с которым мы прошлись по всему числовому зоопарку: обсудили, зачем нужны разные типы, где они подводят, и почему 0.1 + 0.2 ≠ 0.3 – не баг, а особенность. Разбираемся, как работают переполнения, откуда берётся погрешность, можно ли использовать float для денег (спойлер: нельзя), и что общего между округлением и падением ракеты. А ещё вспомнили любимые числовые фэйлы, сравнили числа в разных языках программирования и даже сыграли в игру на угадывание результатов арифметических операций. Также ждем вас, ваши лайки, репосты …

Один из главных вау-эффектов текущего поколения LLM – когда ты впервые видишь, как AI рассуждает перед тем, как выдать ответ на сложный вопрос. Чтобы разобраться с тем, что происходит у таких моделей под капотом, как их обучают и верифицируют результаты работы, мы пригласили Евгения Никишина, исследователя из OpenAI, работающего над масштабированием reasoning моделей и test-time compute. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodcastPodlodka Ведущие в выпуске:

Катя Петрова, Егор Толстой Полез…

В современном IT есть два пути к бесконечным деньгам. Один из них – быть топовым AI рисерчером и ждать, пока позвонит Цукерберг. Второй – поддерживать код на COBOL, от которого зависит вся мировая банковская система. В этом классическом языковом выпуске вместе с Сергеем Куксом, principal инженером из JetBrains, разбираемся с тем, что когда-то помогло COBOL стать таким популярным, и как он продолжает развиваться по сегодняшний день. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodcastPodlodka Ведущи…

Мы живём в интересное время: одни люди делегируют AI почти все бытовые задачи, полностью полагаясь на советы LLM — от кулинарии до постановки медицинских диагнозов и подбора лечения; другие же чуть ли не бойкотируют использование любых AI-инструментов, аргументируя это так: «Как можно доверять таким системам? Это же просто генерация символов по контексту!» Действительно, можем ли мы вообще доверять AI — и насколько? Подлодка любит разбираться фундаментально, поэтому в гости мы позвали Полину Кириченко — исследовательницу в Meta и приглашенного исследователя в Принстоне. Вместе с Полиной разбираемся, что мы вкладываем в понятие «доверие к AI», откуда берутся галлюцинации, bias и другие баги …

Многие знают, что когда модели обучаются, где-то под капотом перемножаются матрицы и тензоры, и все это связано с дифференцированием. Мы с Денисом Степановым взялись за нелегкую задачу – разобраться, что же именно там происходит! Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodcastPodlodka Ведущие в выпуске:

Женя Кателла, Аня Симонова Полезные ссылки: Dive into Deep Learning Aston Zhang, Zachary C. Lipton, Mu Li, Alexander J. Smola (online book with code and formulas) https://d2l.ai/ https://www.am…

Синтез речи давно вышел за рамки утилитарных задач и стал важной частью взаимодействия человека с технологией: от помощников до медиа и образовательных продуктов. В гости к нам пришел Сергей Дуканов, который разрабатывал голосовые ассистенты Маруси, Алисы и Олега, а сейчас – CTO в международном AI dubbing стартапе Dubformer. В этом выпуске мы прошлись по четырём поколениям TTS-систем: от простейшего склеивания фрагментов до нейросетевых моделей, способных передавать интонации и эмоции. Обсуждаем, зачем синтезированной речи характер, почему интонационные “ошибки” делают голос живым и что важно учитывать при встраивании TTS в продукты. Также ждем вас, ваши лайки, репосты и комменты в мессендж…

В этом выпуске обсуждаем, почему программирование для космоса – это не про фреймворки и кнопки, а про науку, физику и уникальные инженерные решения. Почему баги на орбите стоят миллионы, а код пишется так, как нигде больше. Зачем космическим программистам понимать дифференциальные уравнения, как перепрошивают космические аппараты, и почему здесь до сих пор всё ручное и междисциплинарное. Партнёр эпизода — IT-компания Selectel. 27 июля в Санкт-Петербурге ребята организуют IT-фестиваль против выгорания. Воркшопы, полезные доклады, IT-стендап и разные активности — от кастома вещей до рыбалки — ждут тебя на мероприятии. Участие бесплатное, регистрируйтесь. Количество мест ограничено. https://sl…

Когда-то для оценки AI мы использовали только тест Тьюринга – человек общался с собеседником через чат, а потом пытался определить, кожаным или кремниевым был его собеседник. Сегодня мы видим, что оценка качества работы LLM – гораздо более сложная задача. Вместе с Пашей Чижовым из PleIAs мы закопались в то, как вообще сегодня оценивается AI, и обсудили все виды бенчмарков, арен, метрик, их врожденные недостатки, а заодно и как быть, когда по капоту вашего КАМАЗа ползет черт. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт…

Пока одни скромно просят ChatGPT написать пару скриптов, другие уже вовсю интегрируют всё многообразие AI-моделей и инструментов во все сферы своей жизни, стремясь максимально оптимизировать процессы, минимизировать рутину и расширить границы возможного. Как? Разбираемся с Денисом Ширяевым, автором канала Denis Sexy IT. Денис использует AI практически для всего: от работы и хобби до здоровья и саморазвития, и в выпуски мы обсудили его опыт применения АI, текущие ограничения, различия между моделями и лучшие практики работы с ними. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в…

GPU – это не только запустить новый Doom на максималках, но и возможность решать вычислительные задачи в тысячи раз быстрее, чем на CPU. Как это работает и для каких задач – разбираемся в выпуске с Николаем Полярным! Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodcastPodlodka Ведущие в выпуске:

Женя Кателла, Катя Петрова Полезные ссылки: Telegram-канал

https://t.me/UnicornGlade Лекция про то как работает Nanite в Unreal Engine 5

https://www.youtube.com/watch?v=ltUzX1IR9JI Концентрат-лекция про вид…

PhD — путь к великим открытиям или очередной способ пострадать? Почему айтишники задумываются о науке и как понять, что пора задуматься и тебе? Обсуждаем, зачем идти в PhD и как в этом выжить: на что обратить внимание до поступления, чего ждать от процесса и легко ли потом вернуться в индустрию. Какие плюшки даёт академический бэкграунд — и стоят ли они того, если можно просто кодить? Разбираемся вместе с Ваней Ямщиковым. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodcastPodlodka Ведущие в выпуск…

Последнее время куда ни посмотришь – все уже начали использовать AI, код вовсю пишут агенты, количество успешных стартапов растет, а всех программистов скоро обещают разогнать. Из-за этого у многих появляется сильная тревога выражающаяся в FOMO – Fear of missing out – ощущении, что все что-то знают и делают, а только ты – нет. Чтобы разобраться, откуда берется это чувство, насколько ему стоит верить, и как с ним бороться, мы позвали Евгения Кота, менеджера с 20-летним стажем в IT и психологическим образованием за плечами. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook…

Игорь Лабутин — специалист по машинному обучению, учёный, музыкант и продюсер. На фестивале Edinburgh Fringe с 11 по 16 августа 2025 пройдёт премьера его иммерсивного мюзикла AI: Save Our Souls. Сайт мьюзикла: aisaveoursouls.com Даты: 11–16 августа Место: Lime Studio at Greenside @ George Street Время: 19:45 (45 минут, без перерыва) Билеты: £12 / £9 https://www.edfringe.com/tickets/whats-on/ai-save-our-souls Instagram проекта: https://www.instagram.com/aisaveoursouls/ Indiegogo проекта h...

Илья Смоленский — нейробиолог, постдок унивеситета Базеля. Илья ведёт телеграм канал Молекулярная психиатрия и подкаст Эффект наблюдателя. Книги, которые нам посоветовал Илья: Felice Jacka. Brain Changer Georgia Ede. Change Your Diet, Change Your Mind Jonh Cryan, Ted Dinan. Psychobiotic Revolution Джулия Эндерс. Очаровательный кишечник. Как самый могущественный орган управляет нами Netflix - Hack Your Health. The Secrets of Your Gut Support the show ApplePodcasts: https://apple.co/2Psx8yd ...

Юрий Машенцев первый партнер сети кофеен «Дринкит» и создатель футбольного клуб для адаптивных детей «Юнити». Основная цель клуба — дать возможность детям с синдромом Дауна через спорт проживать яркие эмоции — азарт, злость, радость от побед. Канал клуба в Юнити в телеграм: t.me/legionchance. Канал Юрия: t.me/billoncoffee. Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Антон Маскелиаде музыкант, основатель школы, автор книги "Твой первый трек" и карточек для музыканов "Твой второй трек". Школа https://maskeliade.school/ Книга https://maskeliade.school/book Карточки https://maskeliade.school/cards Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Борис Тарасов занимается промышленным дизайном в avride. Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

https://www.goodreads.com/book/show/41795733-range Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Анна Ривина эксперт по теме домашнего насилия и гендерной дискриминации, основательница Центра «Насилию.нет», Rivina Foundation и проекта Labirint. Поддержать русскоязычных женщин в эмиграции, которые оказались в ситуации насилия, можно здесь: https://rivina.foundation/supporteng/ Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Пытаемся перезапустить сезон и пробуем новый формат: обзор книги. https://www.goodreads.com/book/show/17288660-amsterdam Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Александр Мерзликин — основатель стартапа Sleeptery, который предлагает игровой подход для улучшения сна.Support the showApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

Topics include pandas is getting pd.col expressions, Cline, At-Cost Agentic IDE Tooling, uv cheatsheet, and Ducky Network UI.

Topics include Mozilla’s Lifeline is Safe After Judge’s Google Antitrust Ruling, troml - suggests or fills in trove classifiers for your projects, pqrs: Command line tool for inspecting Parquet files, and.

Topics include prek, tinyio, The power of Python’s print function, and Vibe Coding Fiasco: AI Agent Goes Rogue, Deletes Company's Entire Database.

Topics include rathole, pre-commit: install with uv, A good example of what functools.Placeholder from Python 3.14 allows, and Converted 160 old blog posts with AI.

Topics include pypistats.org, State of Python 2025, wrapt: A Python module for decorators, wrappers and monkey patching., and pysentry.

Topics include pyx - optimized backend for uv, Litestar is worth a look, Django remake migrations, and django-chronos.

Topics include Coverage.py regex pragmas, Python of Yore, nox-uv, and.

Topics include rumdl, Coverage 7.10.0: patch, aioboto3, and You might not need a Python class.

Topics include Open Source Security work isn't “Special”, uv v0.8, , and Announcing Toad - a universal UI for agentic coding in the terminal.

Topics include Turso Litestream, PEP 792 – Project status markers in the simple index, Run coverage on tests, and docker2exe.

Topics include Switching to direnv, Starship, and uv, rqlite - Distributed SQLite DB, and.

Topics include ty documentation site and uv migration guide, uv build backend is now stable, Refactoring long boolean expressions, and fastapi-ml-skeleton.

Topics include Python Cheat Sheets from Trey Hunner, Automatisch, mureq-typed, and My CLI World.

Topics include The Python Language Summit 2025, Fixing Python Properties, complexipy, and juvio.

Topics include , typed-ffmpeg, pyleak, and Optimizing Test Execution: Running live_server Tests Last with pytest.

Cassette Beasts is a turn-based monster-battling RPG that lets players record creatures onto cassette tapes and transform into them during battle. The game was an indie hit, and is also one of the most successful games built with the open source Godot Engine. Jay Baylis and Tom Coxon are the creators of Cassette Beasts at

The post Building an Indie Hit in Godot with Jay Baylis and Tom Coxon appeared first on Software Engineering Daily.

A challenge in modern frontend application design is efficiently fetching and managing GraphQL data while keeping UI components responsive and maintainable. Developers often face issues like over-fetching, under-fetching, and handling complex query dependencies, which can lead to performance bottlenecks and increased development effort. Relay is a JavaScript framework developed by Meta for managing GraphQL data

The post Rethinking GraphQL Frontends with Robert Balicki appeared first on Software Engineering Daily.

Traditional package management systems for JavaScript have faced several inefficiencies related to dependency storage, resolution, and project performance. pnpm is a fast, disk-efficient package manager for JavaScript and TypeScript projects, serving as an alternative to npm and Yarn. Due to its efficiency and reliability, pnpm is increasingly popular for managing monorepos and large-scale applications. Zoltan

The post pnpm with Zoltan Kochan appeared first on Software Engineering Daily.

Modern application development often involves juggling multiple types of databases to handle diverse data models. The lack of unification can lead to complex architectures with attendant security concerns and fragmented development workflows. SurrealDB is an open-source, multi-model database developed in Rust and integrates functionalities of many databases including relational, document, graph, time series, search and

The post SurrealDB 3.0 and Building Event-Driven AI Applications with Tobie Morgan Hitchcock appeared first on Software Engineering Daily.

Modern web development faces several challenges, particularly when building scalable, maintainable, and high-performance applications. As applications grow, managing complex user interfaces, and ensuring efficient data handling and modular code structures, becomes increasingly difficult. Angular is a TypeScript-based web framework developed by Google. It’s component-driven and designed for building single-page applications with a strong emphasis on

The post AngularJS with Jessica Janiuk appeared first on Software Engineering Daily.

SED News is a monthly podcast from Software Engineering Daily where hosts Gregor Vand and Sean Falconer unpack the biggest stories shaping software engineering, Silicon Valley, and the broader tech industry. In this episode, they discuss Perplexity’s headline-grabbing offer to buy Google Chrome, the U.S. government’s large stake in Intel, Meta’s abrupt pause on AI

The post SED News: Perplexity’s Chrome Play, Meta’s AI Freeze, and Intel Becomes Too Big to Fail appeared first on Software Engineering Daily.

A common challenge in data-rich organizations is that critical context about the data is often hard to capture and even harder to keep up to date. As more people across the organization use data and data models get more complex, simply finding the right dataset can be slow and create bottlenecks. Select Star is a

The post Context-Aware SQL and Metadata with Shinji Kim appeared first on Software Engineering Daily.

Data visualization is increasingly important as organizations prioritize data-driven decision-making. Tools that transform complex datasets into intuitive, interpretable visualizations are arguably just as critical as the data itself. Robert Kosara is a Data Visualization Developer at Observable which is a platform for creating interactive data visualizations, and which makes extensive use of the popular D3

The post Modern Data Visualization with Robert Kosara appeared first on Software Engineering Daily.

Werner Vogels is the Chief Technology Officer at Amazon, where he has played a pivotal role in shaping the company’s technology vision for over two decades. Before joining Amazon in 2004, Werner was a research scientist at Cornell University where he focused on distributed systems and scalability, both of which are concepts that would later

The post A Conversation with Amazon CTO Werner Vogels appeared first on Software Engineering Daily.

A key challenge with designing AI agents is that large language models are stateless and have limited context windows. This requires careful engineering to maintain continuity and reliability across sequential LLM interactions. To perform well, agents need fast systems for storing and retrieving short-term conversations, summaries, and long-term facts. Redis is an open‑source, in‑memory data

The post Redis and AI Agent Memory with Andrew Brookins appeared first on Software Engineering Daily.

Deploying and managing cloud workloads is a complex task that requires developers to handle infrastructure, scaling, CI/CD pipelines, and database hosting. Configuring and maintaining Kubernetes, ensuring smooth deployments, and integrating various services efficiently is a common challenge. Will Stewart is the co-founder and CEO of Northflank, which is a platform focused on streamlining application deployment

The post Complex Workload Deployment with Will Stewart appeared first on Software Engineering Daily.

Modern software teams typically rely on a patchwork of tools to manage planning, development, feature rollout, and post-release analysis. This fragmentation is a known challenge that can create friction and slow down software development iteration. It’s especially problematic for cross-functional teams, where differences in roles, expertise, and work culture can further complicate collaboration. There is

The post Empowering Cross-Functional Product Teams with Tobias Dunn-Krahn and Doug Peete appeared first on Software Engineering Daily.

Carbon is a programming language developed by Google as a successor to C++, and it aims to provide modern safety features while maintaining high performance. It’s designed to offer seamless interoperability with C++ while addressing shortcomings of C++ such as slow compilation times and lack of memory safety. Carbon also introduces features like a more

The post Carbon and Modernizing C++ with Chandler Carruth appeared first on Software Engineering Daily.

Podman is an open-source container management tool that allows developers to build, run, and manage containers. Unlike Docker, it supports rootless containers for improved security and is fully compatible with standards from the Open Container Initiative, or OCI. Brent Baude is a Senior Principal Software Engineer at Red Hat where he works on Podman. In

The post Podman with Brent Baude appeared first on Software Engineering Daily.

SED News is a monthly podcast from Software Engineering Daily where hosts Gregor Vand and Sean Falconer unpack the biggest stories shaping software engineering, Silicon Valley, and the broader tech industry. In this episode, they explore Meta’s bold push into AI with the launch of Meta Superintelligence Labs, the dramatic twists in the Windsurf acquisition

The post SED News: Meta’s AI Gambit, Windsurf Shake‑Up, and the UK VPN Surge appeared first on Software Engineering Daily.

-=Выпуск 79=- Прошло полгода с прошлого выпуска, и я все же вспомнил про “Трёп” и решил записать сольный выпуск; он, по сути, основан на разных лекциях, которые приходилось читать последние месяцы, на самых мне интересных темах в моем канальчике Techsparks, просто на разговорах с умными людьми. Тут и рынок труда, и образование, и роботы — все как я люблю:)

-=Выпуск 78=- 22 декабря — самое время для публикации первого выпуска года:) Но так уж сложилось. Зато выпуск рекордный не только по задержке, но и по длительности: почти 2 часа. И каких! Большую часть этого времени говорил Ваня, мы встретились в подкасте через полтора года после прошлого разговора, где он много провидческих (как мы смогли убедиться) слов произнес про ИИ, про любимые им горячо языковые модели и про будущее. Мы не стали менять сюжет :)) Ссылка по теме —

Service templates are a typical building block in the “golden paths” organisations build for their engineering teams, to make it easy to do the right thing.

And what’s more, if you’re creating prompts for multiple coding patterns, you want to keep them consistent with each other.

Maintaining code samples in a reference application project that you can compile and run (like a service template) makes it a lot easier to provide AI with compilable, consistent samples.

So in a second step, I wondered how we might use this approach to do a “code pattern drift detection” between the codebase and the reference application.

I tested this with a relatively simple example, I added a logger…

And the more experience I get with using AI, the more honed and intuitive these assessments become.

You can also more generally consider if you’re working on a use case that needs a high level of “correctness”, or not.

This dimension leans heavily on traditional engineering skills: test coverage, system knowledge, code review practices.

Let’s take the extremes as an example to illustrate this idea:Low probability + low impact + high detectability Vibe coding is fine!

High probability + high impact + low detectability High level of review is advisable.

                ❄                ❄                ❄                ❄I’m often asked, “what is the future of programming?” Should people consider entering software development now?

                ❄                ❄               ❇                ❄I’m also asked: “is AI a bubble”?

                ❄                ❄                ❄                ❄I retired from public speaking a couple of years ago.

                ❄                ❅

This engagement revealed that turning a system from black box to blueprint empowers modernization decisions and accelerates migration efforts.

Yet the business logic they embody is still critical to daily operations of thousands of users.

The result is what we call a black box: a system whose outputs we can observe, but whose inner workings remain opaque.

Even with partial CDC, the insights proved valuable in linking UI behavior to underlying data changes and enriching the system blueprint.

We faced multiple challenges (API usage limit, rate limits) - We couldn't verify what LLM translation of business logic was right or wrong.

To guide this process, I adopted a workflow that I refer to as “Research, Review, Rebuild”, which provides a structured, disciplined, and iterative approach to code migration.

Research, Review, Rebuild Figure 1: Research, Review, Rebuild Workflow The workflow I followed is called “Research, Review, Rebuild” — where we do a feature migration research using a couple of MCP servers, validate and approve the approach AI proposes, rebuild the feature and then once all the code generation is done, refactor things that you didn't like.

Research The “Research” phase of the approach involves generating an MCP-augmented LLM analysis of the selected Display Control.

Therefore, I strongly recommend…

CLI coding agents are a fundamentally different tool to chatbots or autocomplete tools - they're agents that can read code, run tests, and update a codebase.

The wave of CLI Coding Agents If you have tried Claude Code, Gemini Code, Open Code or Simon Willison’s LLM CLI, you’ve experienced something fundamentally different from ChatGPT or Github Copilot.

So that’s exactly what we did, and in this article I’ll take you through how we built our own CLI Coding Agent using the Pydantic-AI framework and the Model Context Protocol (MCP).

agent = Agent( instructions=instructions, model=model, ) The workflow change: The agent now understands our values around Test Driven Development and minimal chan…

“I need a Repository to access stored data”, “I need a Controller to handle user requests” or “I need to use a Factory to create objects” are all examples of abstractions which are well known in the programming community.

When I am building data pipelines, the functional paradigm helps to think about the chain of transformations working on the stream of data.

Once this mental model is clear, it's a lot easier to give specific instructions to LLMs.

This is the process which solidifies 'abstractions' - the essence of forming the vocabulary for growing the language.

That's dangerous, as without iterating with the code, you need to speculate a lot about the structure of the design.

Expansion Joints helped with this, I could aggressively trim the core talk to less than I needed, and rely on the Expansion Joints to fill the gap.

In practice I usually didn't need the Expansion Joints anyway, but their presence helped my confidence.

Using Expansion Joints was particularly important for me as I never rehearsed my talks.

Yet with Expansion Joints in place, I was able to finish a talk right on time.

Expansion Joints enabled me to give the same talk to different time slots.

What Makes Team OKRs Different Team OKRs aren’t assigned, nor are they dropped into trackers by leadership.

From Strategy to Team OKR Team OKRs don’t exist in isolation.

Strategic OKRs Are Refined in Conversation Strategic OKRs at both company and BU levels were refined through dialogue, not decree.

To respect confidentiality, details have been modified, but the essence of how Strategic OKRs and Team OKRs connect remains intact.

Figure 7: A typical Team OKR cycle Team OKR Planning Workshop The Team OKR Planning Workshop happens at the start of each cycle.

Impact Intelligence Impact Intelligence is the constant awareness of the business impact of initiatives: tech initiatives, R&D initiatives, transformation initiatives, or business initiatives.

Any of the segments of this cycle might be weak but the first (idea selection) and the last (impact measurement & iteration) are particularly relevant for impact intelligence.

They contribute more to impact than to impact intelligence.

Figure 6 highlights the two leverage points for impact intelligence: idea selection and impact measurement.

Impact measurement works the same for downstream impact, but impact validation works differently.

But they’re also losing: 3 hrs per week due to slow builds4 hrs per week on dev environment toil2 hrs per week waiting for code reviews AI is not a silver bullet.

The difference between disposable code and durable code is not about whether the code was generated by AI or written by a human, or even how difficult it was to write.

This is the expensive part of software development, the type that requires deep expertise and familiarity with your language and environment.

Disposable code is cheap because you don’t even try to maintain it.

Jim Highsmith thinks that we should think of AI as Alternative IntelligenceIt’s not fake intelligence, or artificial empathy, or HAL 9000 with manners.

Impact Intelligence Impact Intelligence is the constant awareness of the business impact of initiatives: tech initiatives, R&D initiatives, transformation initiatives, or business initiatives.

Any of the segments of this cycle might be weak but the first (idea selection) and the last (impact measurement & iteration) are particularly relevant for impact intelligence.

Figure 6 highlights the two leverage points for impact intelligence: idea selection and impact measurement.

Impact measurement works the same for downstream impact, but impact validation works differently.

This is because unlike proximate impact, downstream impact may be due to multiple factors.

You struggle to provide this justification because of a general deficit of impact intelligence within the organization.

Impact Intelligence Impact Intelligence is the constant awareness of the business impact of initiatives: tech initiatives, R&D initiatives, transformation initiatives, or business initiatives.

Any of the segments of this cycle might be weak but the first (idea selection) and the last (impact measurement & iteration) are particularly relevant for impact intelligence.

They contribute more to impact than to impact intelligence.

Figure 6 highlights the two leverage points for impact intelligence: idea selection and impact measurement.

To learn more about where we are today, and what would have to be solved on a path from today to a future like that, we ran some experiments to see how far we could push the autonomy of Generative AI code generation with a simple application, today.

However, it was an interesting test case to explore our main question: How might we push autonomy and repeatability of AI code generation?

The only one we were aware of at the time that can do that is Roo Code, and its fork Kilo Code.

This gave us a facsimile of a multi-agent coding setup without having to build something from scratch.

Even though technically the context window sizes of LLMs are increasing, LLM generation results still become mo…

OK, that’s only part of the story: to be honest, I’m lazy, and the first thing I do is ask AI for help.

You may refer to @doc.go for information about the tables involvedGiving the AI access to mysql enables it to explore the schema and try queries.

Takeaway: ask the AI to explain the code.

orgChartTreeInsert := "insert into ..." testdb.MustExec(t, conn, orgChartTreeInsert, 1, "path", 200, 300) testdb.MustExec(t, conn, orgChartTreeInsert, 2, "path", 201, 301) testdb.MustExec(t, conn, orgChartTreeInsert, 3, "path", 202, 302) testdb.MustExec(t, conn, orgChartTreeInsert, 4, "path", 203, 303) testdb.MustExec(t, conn, orgChartTreeInsert, 5, "path", 204, 304) testdb.MustExec(t, conn, orgChart…

Вам не нужен testify/assertМногие Go-разработчики предпочитают ассерты (asserts, проверки в тестах) без if, чтобы тесты были короче и понятнее.

Nil ( t , age ) }Но я не думаю, что для хороших тестов действительно нужен testify/assert с его 40 разными ассертами.

func isNil ( v any ) bool { if v == nil { return true } // Интерфейс может быть не nil, но содержать nil, // поэтому проверяем внутреннее значение.

Стандартное сообщение подскажет, что не так, а номер строки укажет, где искать проблему.

TB , got error , want error ) { tb .

Выпуск Go 1.25 запланирован на август, так что сейчас самое время изучить, что нового.

Не делайте так в продакшене ツПоехали!

Мы могли бы сделать таймаут параметром функции (наверное, так и стоило бы), но допустим, что это не вариант.

Внутри пузыря функции пакета time используют искусственные часы, что позволяет тесту пройти мгновенно:Начальное время в пузыре — полночь 2000-01-01 UTC.

Она ждет, пока все горутины в пузыре заблокируются, а затем продолжает выполнение:

Cравнивать строки на похожесть и транслитерировать текст.

Прощай, зерокод.

Вернулся в 2007.

Здесь денег нет.

Криптографически случайная строка.

Функция с приколоченным к ней получателeм.

omitzero на замену omitempty.

Больше криптографии.

Больше итераторов в Go 1.24Как известно, в 1.23 авторы Go воспылали необъяснимой стратью к итератором, и этот пожар с тех пор только разгорается жарче.

Lines ( s ) { fmt .

SplitSeq ( s , "-" ) { fmt .

FieldsSeq ( s ) { fmt .

IsNumber ( c ) } s := "one,two;six..." for part := range strings .

Контекст для тестовДопустим, мы хотим протестировать этот жутко полезный сервер:// Дает ответы на все вопросы.

func startServer ( ctx context .

T ) { srv := startServer ( context .

) != 42 { t . Fatal ( "unexpected value" ) } }Тест проходит, но есть проблемка: я использовал пустой контекст, так что на самом деле сервер не остановился.

Background ()) defer cancel () srv := startServer ( ctx ) if srv .

И сжечь все ноутбуки.

Через io.Discard.