IntroductionTraditionally, organizations have deployed databases on costly, high-end standalone servers using sharding for scaling as a strategy. As data demands grew, the limitations of this strategy became increasingly evident with increasingly longer and more complex maintenance projects.Increasingly distributed horizontally scalable databases are not uncommon and many of them are open source. However, running these databases reliably in the cloud with high availability, low latency and scalability, all at a reasonable cost is a problem many companies are trying to solve.We chose an innovative strategy of deploying a distributed database cluster across multiple Kubernetes clusters in a c…

New techniques we’re using at Airbnb to improve and maintain performance of SwiftUI features at scaleBy Cal Stephens, Miguel JimenezAirbnb first adopted SwiftUI in 2022, starting with individual components and later expanding to entire screens and features. We’ve seen major improvements to engineers’ productivity thanks to its declarative, flexible, and composable architecture. However, adopting SwiftUI has brought new challenges related to performance. For example, there are many common code patterns in SwiftUI that can be inefficient, and many small papercuts can add up to a large cumulative performance hit. To begin addressing some of these issues at scale, we’ve created new tooling for …

Comprehensive Load Testing with Load Generator, Dependency Mocker, Traffic Collector, and MoreAuthors: Chenhao Yang, Haoyue Wang, Xiaoya Wei, Zay Guan, Yaolin Chen and Fei YuanSystem-level load testing is crucial for reliability and efficiency. It identifies bottlenecks, evaluates capacity for peak traffic, establishes performance baselines, and detects errors. At a company of Airbnb’s size and complexity, we’ve learned that load testing needs to be robust, flexible, and decentralized. This requires the right set of tools to enable engineering teams to do self-service load tests that integrate seamlessly with CI.Impulse is one of our internal load-testing-as-a-service frameworks. It provide…

Listening, Learning, and Helping at Scale: How Machine Learning Transforms Airbnb’s Voice Support ExperienceA look into how Airbnb uses speech recognition, intent detection, and language models to understand users and assist agents more effectively.By Yuanpei Cao, Heng Ji, Elaine Liu, Peng Wang, and Tiantian ZhangAt Airbnb, we aim to provide a smooth, intuitive, and helpful community support experience, whether it’s helping a guest navigate a booking change or helping a host with a listing issue. While our Help Center and customer support chatbot helps resolve many inquiries efficiently, some users prefer the immediacy of a voice conversation with a support representative. To make these int…

A deep dive on the framework that lets us identify the most valuable listings for our guests.By: Carlos Sanchez-Martinez, Sean O’Donnell, Lo-Hua Yuan, Yunshan ZhuAt Airbnb, we always strive to provide our community with the best experience. To do so, it’s important to understand what kinds of accommodation listings are valuable to our guests. We achieve this by calculating and using estimates of listing lifetime value. These estimates not only allow us to identify which types of listings resonate best with guests, but also help us develop resources and recommendations for hosts to increase the value driven by their listings.Most of the existing literature on lifetime value focuses on tradit…

Our journey in applying embedding-based retrieval techniques to build an accurate and scalable candidate retrieval system for Airbnb Homes searchAuthors: Mustafa (Moose) Abdool, Soumyadip Banerjee, Karen Ouyang, Do-Kyum Kim, Moutupsi Paul, Xiaowei Liu, Bin Xu, Tracy Yu, Hui Gao, Yangbo Zhu, Huiji Gao, Liwei He, Sanjeev KatariyaIntroductionSearch plays a crucial role in helping Airbnb guests find the perfect stay. The goal of Airbnb Search is to surface the most relevant listings for each user’s query — but with millions of available homes, that’s no easy task. It’s especially difficult when searches include large geographic areas (like California or France) or high-demand destinations (like…

by: Charles Covey-BrandtAirbnb recently completed our first large-scale, LLM-driven code migration, updating nearly 3.5K React component test files from Enzyme to use React Testing Library (RTL) instead. We’d originally estimated this would take 1.5 years of engineering time to do by hand, but — using a combination of frontier models and robust automation — we finished the entire migration in just 6 weeks.In this blog post, we’ll highlight the unique challenges we faced migrating from Enzyme to RTL, how LLMs excel at solving this particular type of challenge, and how we structured our migration tooling to run an LLM-driven migration at scale.BackgroundIn 2020, Airbnb adopted React Testing L…

How Airbnb is adapting ranking for our map interface.Malay Haldar, Hongwei Zhang, Kedar Bellare Sherry ChenSearch is the core mechanism that connects guests with Hosts at Airbnb. Results from a guest’s search for listings are displayed through two interfaces: (1) as a list of rectangular cards that contain the listing image, price, rating, and other details on it, referred to as list-results and (2) as oval pins on a map showing the listing price, called map-results. Since its inception, the core of the ranking algorithm that powered both these interfaces was the same — ordering listings by their booking probabilities and selecting the top listings for display.But some of the basic assumpti…

Airbnb had a large presence at the 2024 KDD conference hosted in Barcelona, Spain. Our Data Scientist and Engineers presented on topics like Deep Learning & Search Ranking, Online Experimentation & Measurement, Product Quality & Customer Journey, and Two-sided Marketplaces. This blog post summarizes our contributions to KDD for 2024 and provides access to the academic papers presented during the conference.Authors: Huiji Gao, Peter Coles, Carolina Barcenas, Sanjeev KatariyaKDD (Knowledge and Data Mining) is one of the most prestigious global conferences in data mining and machine learning. Hosted annually by a special interest group of the Association for Computing Machinery (ACM), it’s whe…

Vijaya Kaza is the Chief Security Officer and Head of Engineering for Trust and Safety at Airbnb. She leads teams responsible for developing the technology (Platforms, tools and AI models), to safeguard the Airbnb community, as well as for securing Airbnb’s infrastructure and information assets. She is also the executive co-sponsor of Airbnb Tech’s Diversity Council.Here’s Vijaya’s story of how she got to Airbnb, in her own words.Straight shot to science and engineeringI grew up in a modest, multi-generational family in India with 30 to 40 family members under one roof on any given day. As the oldest child in that house, I was expected to excel academically and set an example for the other …

How Airbnb uses data-driven segmentation to understand supply availability patterns.By: Alexandre Salama, Tim AbrahamIntroductionAt Airbnb, our supply comes from hosts who decide to list their spaces on our platform. Unlike traditional hotels, these spaces are not all interchangeable units in a building that are available to book year-round. Our hosts are people, with different earnings objectives and schedule constraints — leading to different levels of availability to host. Understanding these differences is a key input into how we develop our products, campaigns, and operations.Over the years, we’ve created various ways to measure host availability, developing “features” that capture dif…

How Airbnb built a stream processing platform to power user personalization.By: Kidai Kwon, Pavan Tambay, Xinrui Hua, Soumyadip (Soumo) Banerjee, Phanindra (Phani) GantiOverviewUnderstanding user actions is critical for delivering a more personalized product experience. In this blog, we will explore how Airbnb developed a large-scale, near real-time stream processing platform for capturing and understanding user actions, which enables multiple teams to easily leverage real-time user activities. Additionally, we will discuss the challenges encountered and valuable insights gained from operating a large-scale stream processing platform.BackgroundAirbnb connects millions of guests with unique …

Boosting computer vision accuracy and performance at AirbnbBy: Pei Xiong, Aaron Yin, Jian Zhang, Lifan Yang, Lu Zhang, Dean ChenIntroductionIn recent years, the integration of artificial intelligence with travel platforms has transformed how people search for and book accommodations. As a leading global marketplace for unique travel experiences and accommodations, Airbnb constantly strives to enhance the guest experience by providing informative content about the variety of homes shared by our hosts. One of the ways we help guests better understand what a listing offers before they book is through our AI-powered photo tour feature.The AI-powered photo tour in the Listings tab, which helps h…

How and Why We Migrated Airbnb’s Large-Scale Web Monorepo to BazelBy: Brie Bunge and Sharmila JesupaulIntroductionAt Airbnb, we’ve recently adopted Bazel — Google’s open source build tool–as our universal build system across backend, web, and iOS platforms. This post will cover our experience adopting Bazel for Airbnb’s large-scale (over 11 million lines of code) web monorepo. We’ll share how we prepared the code base, the principles that guided the migration, and the process of migrating selected CI jobs. Our goal is to share information that would have been valuable to us when we embarked on this journey and to contribute to the growing discussion around Bazel for web development.Why did …

Behind the Streams: Three Years Of Live at Netflix. Part 1.By Sergey Fedorov, Chris Pham, Flavio Ribeiro, Chris Newton, and Wei WeiMany great ideas at Netflix begin with a question, and three years ago, we asked one of our boldest yet: if we were to entertain the world through Live — a format almost as old as television itself — how would we do it?What began with an engineering plan to pave the path towards our first Live comedy special, Chris Rock: Selective Outrage, has since led to hundreds of Live events ranging from the biggest comedy shows and NFL Christmas Games to record-breaking boxing fights and becoming the home of WWE.In our series Behind the Streams — where we take you through …

By Eugene Yemelyanau, Jake GriceIntroductionTudum.com is Netflix’s official fan destination, enabling fans to dive deeper into their favorite Netflix shows and movies. Tudum offers exclusive first-looks, behind-the-scenes content, talent interviews, live events, guides, and interactive experiences. “Tudum” is named after the sonic ID you hear when pressing play on a Netflix show or movie. Attracting over 20 million members each month, Tudum is designed to enrich the viewing experience by offering additional context and insights into the content available on Netflix.Initial architectureAt the end of 2021, when we envisioned Tudum’s implementation, we considered architectural patterns that wo…

By Vipul Marlecha, Lara Deek, Thiara OrtizThe mission of Open Connect, our dedicated content delivery network (CDN), is to deliver the best quality of experience (QoE) to our members. By localizing our Open Connect Appliances (OCAs), we bring Netflix content closer to the end user. This is achieved through close partnerships with internet service providers (ISPs) worldwide. Our ability to efficiently localize traffic, known as Content Delivery Efficiency, is a critical component of Open Connect’s service.In this post, we discuss one of the frameworks we use to evaluate our efficiency and identify sources of inefficiencies. Specifically, we classify the causes of traffic not being served fro…

Unleashing Film Grain Synthesis on Netflix and Enhancing Visuals for MillionsLi-Heng Chen, Andrey Norkin, Liwei Guo, Zhi Li, Agata Opalach and Anush MoorthyPicture this: you’re watching a classic film, and the subtle dance of film grain adds a layer of authenticity and nostalgia to every scene. This grain, formed from tiny particles during the film’s development, is more than just a visual effect. It plays a key role in storytelling by enhancing the film’s depth and contributing to its realism. However, film grain is as elusive as it is beautiful. Its random nature makes it notoriously difficult to compress. Traditional compression algorithms struggle to manage it, often forcing a choice be…

By Alex Hutter, Alexandre Bertails, Claire Wang, Haoyuan He, Kishore Banala, Peter Royal, Shervin AfsharAs Netflix’s offerings grow — across films, series, games, live events, and ads — so does the complexity of the systems that support it. Core business concepts like ‘actor’ or ‘movie’ are modeled in many places: in our Enterprise GraphQL Gateway powering internal apps, in our asset management platform storing media assets, in our media computing platform that powers encoding pipelines, to name a few. Each system models these concepts differently and in isolation, with little coordination or shared understanding. While they often operate on the same concepts, these systems remain largely u…

Authors: Sejoon Oh, Moumita Bhattacharya, Yesu Feng, Sudarshan Lamkhede, Ko-Jen Hsiao, and Justin BasilicoMotivationRecommender systems have become essential components of digital services across e-commerce, streaming media, and social networks [1, 2]. At Netflix, these systems drive significant product and business impact by connecting members with relevant content at the right time [3, 4]. While our recommendation foundation model (FM) has made substantial progress in understanding user preferences through large-scale learning from interaction histories (please refer to this article about FM @ Netflix), there is an opportunity to further enhance its capabilities. By extending FM to incorp…

Kinesh SatiyaIntroductionIn a digital advertising platform, a robust feedback system is essential for the lifecycle and success of an ad campaign. This system comprises of diverse sub-systems designed to monitor, measure, and optimize ad campaigns. At Netflix, we embarked on a journey to build a robust event processing platform that not only meets the current demands but also scales for future needs. This blog post delves into the architectural evolution and technical decisions that underpin our Ads event processing pipeline.Ad serving acts like the “brain” — making decisions, optimizing delivery and ensuring right Ad is shown to the right member at the right time. Meanwhile, ad events, aft…

Enhancing Member Experience Through Strategic CollaborationOzzie Sutherland, Iroro Orife, Chih-Wei Wu, Bhanu SrikanthAt Netflix, delivering the best possible experience for our members is at the heart of everything we do, and we know we can’t do it alone. That’s why we work closely with a diverse ecosystem of technology partners, combining their deep expertise with our creative and operational insights. Together, we explore new ideas, develop practical tools, and push technical boundaries in service of storytelling. This collaboration not only empowers the talented creatives working on our shows with better tools to bring their vision to life, but also helps us innovate in service of our me…

By Cheng Xie, Bryan Shultz, and Christine XuIn a previous blog post, we described how Netflix uses eBPF to capture TCP flow logs at scale for enhanced network insights. In this post, we delve deeper into how Netflix solved a core problem: accurately attributing flow IP addresses to workload identities.A Brief RecapFlowExporter is a sidecar that runs alongside all Netflix workloads. It uses eBPF and TCP tracepoints to monitor TCP socket state changes. When a TCP socket closes, FlowExporter generates a flow log record that includes the IP addresses, ports, timestamps, and additional socket statistics. On average, 5 million records are produced per second.In cloud environments, IP addresses ar…

Jesse Korosi, Thijs van de Kamp, Mayra Vega, Laura Futuro, Anton MargolineThe journey from script to screen is full of challenges in the ever-evolving world of film and television. The industry has always innovated, and over the last decade, it started moving towards cloud-based workflows. However, unlocking cloud innovation and all its benefits on a global scale has proven to be difficult. The opportunity is clear: streamline complex media management logistics, eliminate tedious, non-creative task-based work and enable productions to focus on what matters most–creative storytelling. With these challenges in mind, Netflix has developed a suite of tools by filmmakers for filmmakers: the Medi…

By Ko-Jen Hsiao, Yesu Feng and Sudarshan LamkhedeMotivationNetflix’s personalized recommender system is a complex system, boasting a variety of specialized machine learned models each catering to distinct needs including “Continue Watching” and “Today’s Top Picks for You.” (Refer to our recent overview for more details). However, as we expanded our set of personalization algorithms to meet increasing business needs, maintenance of the recommender system became quite costly. Furthermore, it was difficult to transfer innovations from one model to another, given that most are independently trained despite using common data sources. This scenario underscored the need for a new recommender syste…

Roger Quero, Liwei Guo, Jeff Watts, Joseph McCormick, Agata Opalach, Anush MoorthyWe are excited to announce that we are now streaming HDR10+ content on our service for AV1-enabled devices, enhancing the viewing experience for certified HDR10+ devices, which previously only received HDR10 content. The dynamic metadata included in our HDR10+ content improves the quality and accuracy of the picture when viewed on these devices.Delighting Members with Even Better Picture QualityNearly a decade ago, we made a bold move to be a pioneering adopter of High Dynamic Range (HDR) technology. HDR enables images to have more details, vivid colors, and improved realism. We began producing our shows and m…

Part 3: System Strategies and ArchitectureBy: Varun KhaitanWith special thanks to my stunning colleagues: Mallika Rao, Esmir Mesic, Hugo MarquesThis blog post is a continuation of Part 2, where we cleared the ambiguity around title launch observability at Netflix. In this installment, we will explore the strategies, tools, and methodologies that were employed to achieve comprehensive title observability at scale.Defining the observability endpointTo create a comprehensive solution, we decided to introduce observability endpoints first. Each microservice involved in our Personalization stack that integrated with our observability solution had to introduce a new “Title Health” endpoint. Our g…

Part 1: Creating the Source of Truth for ImpressionsBy: Tulika BhattImagine scrolling through Netflix, where each movie poster or promotional banner competes for your attention. Every image you hover over isn’t just a visual placeholder; it’s a critical data point that fuels our sophisticated personalization engine. At Netflix, we call these images ‘impressions,’ and they play a pivotal role in transforming your interaction from simple browsing into an immersive binge-watching experience, all tailored to your unique tastes.Capturing these moments and turning them into a personalized journey is no simple feat. It requires a state-of-the-art system that can track and process these impressions…

Part 2: Navigating AmbiguityBy: Varun KhaitanWith special thanks to my stunning colleagues: Mallika Rao, Esmir Mesic, Hugo MarquesBuilding on the foundation laid in Part 1, where we explored the “what” behind the challenges of title launch observability at Netflix, this post shifts focus to the “how.” How do we ensure every title launches seamlessly and remains discoverable by the right audience?In the dynamic world of technology, it’s tempting to leap into problem-solving mode. But the key to lasting success lies in taking a step back — understanding the broader context before diving into solutions. This thoughtful approach doesn’t just address immediate hurdles; it builds the resilience a…

Samson Hu, Shashank Tavildar, Eric Kalkanger, Hunter GatewoodWhile migrating Pinterest’s search infrastructure — which powers core experiences for millions of users monthly — to Kubernetes, we faced a challenge in the new environment: one in every million search requests took 100x longer than usual.This post chronicles our investigation, uncovering an elusive interaction between our memory-intensive search system and a seemingly innocent monitoring process. The journey involves profiling search systems, debugging performance issues, Linux kernel features, and memory management.Migrating Manas to KubernetesAt Pinterest, search is a critical component of our recommendation system. When users …

Soam Acharya: Principal Engineer · Rainie Li: Manager, Data Processing Infrastructure · William Tom: Senior Staff Software Engineer · Ang Zhang: Director, Big Data PlatformAs Pinterest’s data processing needs grow and as our current Hadoop-based platform (Monarch) ages, the Big Data Platform (BDP) team within Pinterest Data Engineering started considering alternatives for our next generation massive scale data processing platform. In this blog post series, we share details of our subsequent journey, the architecture of our next gen data processing platform, and some insights we gained along the way. In part one, we provide rationale for our new technical direction prior to outlining the ove…

Andrew Yu Staff Software Engineer / Jiahuan Liu Staff Software Engineer / Qingxian Lai Staff Software Engineer / Kritarth Anand Staff Software Engineer1. Introduction: Expanding Ray Beyond Training & InferenceAt Pinterest, ML engineers continuously strive to optimize feature development, sampling strategies, and label experimentation. However, the traditional ML infrastructure was constrained by slow data pipelines, costly feature iterations, and inefficient compute usage.While Ray has already transformed our training/batch inference workflows, we saw an opportunity to extend its capabilities to the entire ML infrastructure stack. This blog details how we expanded Ray’s role beyond training…

Authors (non-ordered): Qishan(Shanna) Zhu, Chen HuAcknowledgements: Longyu Zhao, Jacob Gao, Quannan Li, Dinesh GovindarajIntroductionIn the evolving landscape of advertising, the demand for real-time personalization and dynamic ad delivery has made Online Approximate Nearest Neighbors (ANN) a mainstream method for ad retrieval. Pinterest primarily employs online ANN to swiftly adapt to users’ behavior changes (depending on their age, location and privacy settings), thereby enhancing ad responsiveness and relevance.However, offline ANN is also a valuable option, particularly when large-scale data processing, efficient resource utilization, and cost-effective operations are critical. By preco…

Xue Xia | Machine Learning Engineer, Home Feed Ranking; Saurabh Vishwas Joshi | Principal Engineer, ML Platform; Kousik Rajesh | Machine Learning Engineer, Applied Science; Kangnan Li | Machine Learning Engineer, Core ML Infrastructure; Yangyi Lu | Machine Learning Engineer, Home Feed Ranking; Nikil Pancha | (formerly) Machine Learning Engineer, Applied Science; Dhruvil Deven Badani | Engineering Manager, Home Feed Ranking; Jiajing Xu | Engineering Manager, Applied Science; Pong Eksombatchai | Principal Machine Learning Engineer, Applied ScienceBackgroundThe Pinterest home feed is crucial for Pinner engagement and discovery. Pins on the home feed are personalized using a two-stage process: …

Joe Sabolefski, Sr. Site Reliability EngineerPinterest Big Data InfrastructureMuch of Pinterest’s big data is processed using frameworks like MapReduce™, Spark™, and Flink™ on Hadoop™ YARN™. The processing is carried out on many thousands of nodes spread across over a dozen clusters. We use AWS for our infrastructure, and each cluster uses Auto Scaling Groups (ASGs) to maintain cluster size. Because Hadoop is stateful, we do not auto-scale the clusters; each ASG is fixed in size (desired = min = max). Terraform is utilized to create each cluster. Before introducing the Hadoop Control Center (HCC), Terraform was also used to scale out the Auto Scaling Groups (ASGs). However, scaling in (down…

Jacob Seiler | Software Engineer, Internal Tools PlatformJay Kim | Software Engineer, Internal Tools PlatformCharlie Gu | Engineering Manager, Internal Tools PlatformTechnical documentation is the backbone of any successful engineering team, yet at Pinterest, it has consistently been a source of frustration. Despite using popular web-based wiki tools and experimenting with well-known alternative applications, our internal developer surveys reveal that documentation remains a top pain point. The issues boil down to two critical areas: quality and discoverability. Traditional solutions, such as doc-a-thon sprints or passionate appeals from senior leaders, have failed to produce lasting improv…

Leif Sigerson | Senior Data Scientist, Data Platforms Science,Stephanie Chen | Staff Quantitative Product Researcher, Product Research,Wendy Matheny | Senior Lead Public Policy Manager, Government and Corporate AffairsIntroOne of the best parts about working at Pinterest is meeting someone new and telling them where you work. Often, they smile and immediately say, “I love Pinterest! I go there for…[outfit inspiration, recipes, home decor ideas, nail art, DIY projects, etc.]!” It’s a great feeling that never gets old.A major reason so many people feel good about their time on Pinterest is that it feels personal. Pinterest is personal — it’s about yourself, not your selfie.People come to Pint…

Bella Huang | Machine Learning Engineer, Homefeed Candidate GenerationDafang He | Machine Learning Engineer, Homefeed RelevanceYuying Chen | Machine Learning Engineer, (formerly) Homefeed Candidate GenerationJames Li | Engineering Manager, Homefeed Candidate GenerationDylan Wang | Director, Homefeed RelevanceModern recommendation systems typically follow a multi-stage design involving retrieval, pre-ranking, ranking, and reranking. Pinterest home feed recommendation system has similarly adopted these strategies over the years. We are excited to announce the big milestone in this journey with a sophisticated pre-ranking layer (aka Lightweight Scoring) that significantly improved our business…

Authors: Kartik Kapur, Tech Lead, Sr Software Engineer | Matthew Jin, Sr Software Engineer | Qingxian Lai, Staff Software EngineerContextAt Pinterest, our mission is to inspire users to curate a life they love. To achieve this, we rely on state-of-the-art Recommendation and Ads models trained on tens of petabytes of data over the span of many months of engagement logs. These models drive personalized recommendations, showing users content that resonates with their interests. These models show significantly better performance when trained on large datasets with events spanning over many months of events.Our ML Models are trained on a wide range of features, including Pin, user, advertiser-le…

Xinyue Cao | Software Engineer Tech Lead; Bojun Lin | Software EngineerOverviewExperimentation is a cornerstone of data-driven decision making at Pinterest. Every day, thousands of experiments run on our platform, generating insights that drive product decisions and business strategies. By the end of 2024, over 1,500 metrics — created by experiment users — are computed daily on our Experimentation Platform to meet diverse analytical needs.But as the scale of experimentation grew, so did the challenges. Delays in upstream data ingestion, difficulties in backfilling skipped metrics, and frequent scalability issues began to hinder our ability to deliver timely and reliable results.Enter the Un…

Multi-gate-Mixture-of-Experts (MMoE) model architecture and knowledge distillation in Ads Engagement modeling developmentAuthors: Jiacheng Li | Machine Learning Engineer II, Ads Ranking; Matt Meng | Staff Machine Learning Engineer, Ads Ranking; Kungang Li | Principal Machine Learning Engineer, Ads Performance; Qifei Shen | Senior Staff Machine Learning Engineer, Ads RankingIntroductionMulti-gate Mixture-of-Experts (MMoE)[1,2] is a recent industry-proven powerful architecture in neural network models that offers several significant benefits. First, it enhances model efficiency by dynamically allocating computational resources to different sub-networks (experts) based on the input data, ensur…

Authors: Jack Hsu | Staff Software Engineer, Core Web Platform; Mark Molinaro | Staff Software Engineer, Code and Language RuntimePinterest migrated 3.7 million lines of code from Flow to TypeScript in eight months, leading to better type safety, developer experience, and improved hiring. Along the way, we learned a lot and greatly benefited from the open source community, and it’s our turn to give back. Today, we’re excited to share our learnings and contributions to Stripe’s flow-to-typescript codemod!Why?In 2016, Pinterest began adding types to our JavaScript codebase. At that time, we chose Flow over TypeScript for several reasons:Gradual Adoption: Flow allowed for easier incremental ad…

Han Wang | Machine Learning Engineer II, Relevance & Query Understanding; Mukuntha Narayanan | Machine Learning Engineer II, Relevance & Query Understanding; Onur Gungor | (former) Staff Machine Learning Engineer, Relevance & Query Understanding; Jinfeng Rao | Senior Staff Machine Learning Engineer, Pinner DiscoveryFigure: Illustration of the search relevance system at Pinterest.BackgroundPinterest Search is one of the key surfaces on Pinterest where users can discover inspiring content that aligns with their information needs. Search relevance measures how well the search results aligned with the search query. Using a relevance objective allows the search engine to ensure that the content …

Megan Blake, Usha Amrutha Nookala, Jeremy Browning, Sarah Tao, AJ Oxendine, Siddarth MalreddyOverview & ContextThe holiday shopping season presents a unique challenge: helping millions of Pinners discover and save perfect gifts across a vast sea of possibilities. While Pinterest has always been a destination for gift inspiration, our data showed that users were facing two key friction points: discovery overwhelm and fragmented wishlists. With 85% of weekly US Pinners having made a purchase based on Pins from brands¹, we saw an opportunity to create a more streamlined gift discovery experience that meets Pinners where they already are — at the early stages of shopping inspiration.The Challen…

The state of the research Diff Risk Score (DRS) is a AI-powered technology built at Meta that predicts the likelihood of a code change causing a production incident, also known as a SEV. Built on a fine-tuned Llama LLM, DRS evaluates code changes and metadata to produce a risk score and highlight potentially risky code [...]

Read More...

The post Diff Risk Score: AI-driven risk-aware software development appeared first on Engineering at Meta.

What if you could control any device using only subtle hand movements? New research from Meta’s Reality Labs is pointing even more firmly toward wrist-worn devices using surface electromyography (sEMG) becoming the future of human-computer interaction. But how do you develop a wrist-worn input device that works for everyone? Generalization has been one of the [...]

Read More...

The post Building a human-computer interface for everyone appeared first on Engineering at Meta.

Meta has developed an open-source AI tool to design concrete mixes that are stronger, more sustainable, and ready to build with faster—speeding up construction while reducing environmental impact. The AI tool leverages Bayesian optimization, powered by Meta’s BoTorch and Ax frameworks, and was developed with Amrize and the University of Illinois Urbana-Champaign (U of I) [...]

Read More...

The post Using AI to make lower-carbon, faster-curing concrete appeared first on Engineering at Meta.

Meta and NVIDIA collaborated to accelerate vector search on GPUs by integrating NVIDIA cuVS into Faiss v1.10, Meta’s open source library for similarity search. This new implementation of cuVS will be more performant than classic GPU-accelerated search in some areas. For inverted file (IVF) indexing, NVIDIA cuVS outperforms classical GPU-accelerated IVF build times by up [...]

Read More...

The post Accelerating GPU indexes in Faiss with NVIDIA cuVS appeared first on Engineering at Meta.

We are introducing AutoPatchBench, a benchmark for the automated repair of vulnerabilities identified through fuzzing. By providing a standardized benchmark, AutoPatchBench enables researchers and practitioners to objectively evaluate and compare the effectiveness of various AI program repair systems. This initiative facilitates the development of more robust security solutions, and also encourages collaboration within the community [...]

Read More...

The post Introducing AutoPatchBench: A Benchmark for AI-Powered Security Fixes appeared first on Engineering at Meta.

Multimodal AI – models capable of processing multiple different types of inputs like speech, text, and images – have been transforming user experiences in the wearables space. With our Ray-Ban Meta glasses, multimodal AI helps the glasses see what the wearer is seeing. This means anyone wearing Ray-Ban Meta glasses can ask them questions about [...]

Read More...

The post Building multimodal AI for Ray-Ban Meta glasses appeared first on Engineering at Meta.

WHAT IT IS Meta’s Automated Compliance Hardening (ACH) tool is a system for mutation-guided, LLM-based test generation. ACH hardens platforms against regressions by generating undetected faults (mutants) in source code that are specific to a given area of concern and using those same mutants to generate tests. When applied to privacy, for example, ACH automates [...]

Read More...

The post Revolutionizing software testing: Introducing LLM-powered bug catchers appeared first on Engineering at Meta.

Andromeda is Meta’s proprietary machine learning (ML) system design for retrieval in ad recommendation focused on delivering a step-function improvement in value to our advertisers and people. This system pushes the boundary of cutting edge AI for retrieval with NVIDIA Grace Hopper Superchip and Meta Training and Inference Accelerator (MTIA) hardware through innovations in ML [...]

Read More...

The post Meta Andromeda: Supercharging Advantage+ automation with the next-gen personalized ads retrieval engine appeared first on Engineering at Meta.

AI plays a fundamental role in creating valuable connections between people and advertisers within Meta’s family of apps. Meta’s ad recommendation engine, powered by deep learning recommendation models (DLRMs), has been instrumental in delivering personalized ads to people. Key to this success was incorporating thousands of human-engineered signals or features in the DLRM-based recommendation system. [...]

Read More...

The post Sequence learning: A paradigm shift for personalized ads recommendations appeared first on Engineering at Meta.

At Open Compute Project Summit (OCP) 2024, we’re sharing details about our next-generation network fabric for our AI training clusters. We’ve expanded our network hardware portfolio and are contributing two new disaggregated network fabrics and a new NIC to OCP. We look forward to continued collaboration with OCP to open designs for racks, servers, storage [...]

Read More...

The post OCP Summit 2024: The open future of networking hardware for AI appeared first on Engineering at Meta.

At the Open Compute Project (OCP) Global Summit 2024, we’re showcasing our latest open AI hardware designs with the OCP community. These innovations include a new AI platform, cutting-edge open rack designs, and advanced network fabrics and components. By sharing our designs, we hope to inspire collaboration and foster innovation. If you’re passionate about building [...]

Read More...

The post Meta’s open AI hardware vision appeared first on Engineering at Meta.

On April 16, Spotify experienced an outage that affected users [...]

The post Incident Report: Spotify Outage on April 16, 2025 appeared first on Spotify Engineering.

Did you know that we sell Spotify’s developer productivity tools [...]

The post Celebrating Five Years of Backstage: From Open Source Project to Enterprise Software Business appeared first on Spotify Engineering.

Developing and releasing mobile apps at scale is a big [...]

The post A Behind-the-Scenes Look at How We Release the Spotify App (Part 1) appeared first on Spotify Engineering.

TL;DR There’s a brand new engineering certification in town: Certified [...]

The post An Insider’s Tips for Taking the Certified Backstage Associate (CBA) Exam appeared first on Spotify Engineering.

TL;DR Getting a response from GenAI is quick and straightforward. But what about the confidence level for that response? In [...]

The post Building Confidence: A Case Study in How to Create Confidence Scores for GenAI Applications appeared first on Spotify Engineering.

TL;DR The Spotify FOSS Fund is back again! We created the Spotify FOSS Fund in 2022 to help support the [...]

The post Congratulations to the Recipients of the 2024 Spotify FOSS Fund appeared first on Spotify Engineering.

With the fields of machine learning (ML) and generative AI (GenAI) continuing to rapidly evolve and expand, it has become [...]

The post How We Generated Millions of Content Annotations appeared first on Spotify Engineering.

As advanced analytics and AI continue to drive enterprise strategy, leaders are tasked with building flexible, resilient data pipelines that accelerate trusted insights. AI pioneer Andrew Ng recently underscored that robust data engineering is foundational to the success of data-centric AI—a strategy that prioritizes data quality over model complexity. McKinsey Quarterly’s latest research further forecasts […]

The post Elevating Productivity: Cloudera Data Engineering Brings External IDE Connectivity to Apache Spark appeared first on Cloudera Blog.

Why 89% of top fleets now rely on data analytics - and how you can too.

No more waiting for reports: AI's revolution in fund manager-investor information sharing.

You can improve sales performance by using data analytics to track, score, and convert leads more effectively.

You can create better email campaigns by using AI tools and the right platforms to personalize content and automate key tasks.

Ditch Manual Checks: Top AI Tools Helping Law Firms Verify Documents 10x Faster While Meeting GDPR & AML Standards.

Artificial intelligence is helping businesses worldwide reduce risks, predict disruptions, and gain better control over their supply chains.

Data analytics is helping companies prevent truck accidents and handle insurance claims with more speed and accuracy than ever before.

Predictive analytics helps interior designers understand clients and grow profits through smarter, data-driven decisions.

AI is becoming essential for managing, cleaning, and analyzing the massive flow of business data.

AI is changing how websites work, from design tweaks to smarter user interactions.

From data patterns to boardroom strategy - how generative AI is becoming the ultimate business co-pilot, redefining what's possible in analytics.

AI tools help tailor emails to each person, boosting engagement without the extra workload.

Data helps marketers reach the right audience and spend ad budgets more wisely on LinkedIn.

Data helps speech-language pathologists make more precise, informed, and effective decisions for their clients.

More marketers are turning to AI tools to keep up with fast deadlines and changing audience needs.

Objectives Prerequisites Introduction Virtualization technology has enabled powerful infrastructure architectures that allow single physical hardware systems to host multiple simulated environments. In essence, it allows the sharing of physical resources from a single pool to multiple isolated environments. With virtualization technology and hypervisors that manage the pool of resources, virtual machines can be created that […]

The post Install and Run Containers on Linux Virtual Machines – LXD/LXC appeared first on WeCloudData.

The future of hiring is automated. Artificial Intelligence has become a crucial factor in nearly every hiring decision: 87 percent of businesses globally rely on AI-driven tools daily, and 99 percent of Fortune 500 companies automate at least one hiring step. Understanding how artificial intelligence is changing the hiring process is essential for anyone working […]

The post Is Your HR Team Ready? Three Surprising Ways AI Is Reshaping Hiring Today appeared first on WeCloudData.

Human Resources is entering a new era, shaped by generative AI. AI has now become a working tool transforming how HR teams recruit, onboard, engage, and retain talent. But beyond the buzz, HR professionals are curious about: how exactly can Generative AI and HR​ can be used together, and what are the practical benefits? This […]

The post How Generative AI is Redefining HR appeared first on WeCloudData.

If you’re new to data science, you’ve probably heard of Scikit-learn before. And if you haven’t used it yet, you will because it’s one of Python’s most popular and reliable machine learning libraries. At WeCloudData, we train aspiring data scientists, analysts, and engineers to use tools that deliver real-world value. Scikit-learn is often the first […]

The post Scikit-learn: The Most Trusted Python Library for Data Science appeared first on WeCloudData.

Have you heard of prompt engineering? You use it whenever you interact with AI tools. It’s the skill of writing clear and concise instructions (prompts) to get accurate answers from AI tools like ChatGPT. But now there’s a new and more powerful idea catching on, it’s called Context Engineering. What exactly does ‘context engineering’ mean? […]

The post Context Engineering: The Next Evolution After Prompt Engineering appeared first on WeCloudData.

Cloud computing is now a commercial need rather than a competitive advantage in the era of Industry 4.0. To remain flexible, adaptable, and effective, manufacturing firms are adopting cloud-based solutions, from AI-powered analytics to smart factories. In this blog, we explore how cloud manufacturing​ is changing the manufacturing industry and helping businesses to cut expenses, […]

The post Cloud Manufacturing: The Future of Smart, Scalable Production appeared first on WeCloudData.

Power BI Tutorial | A Series – Part 2: Setting Up Your Workspace for Data Success Welcome to Part 2 of our Power BI Tutorial Series! Setting up your Power BI is important before beginning to develop dashboards and data storytelling. Think of this as laying the foundation before you build the house. Whether you’re […]

The post Power BI Beginner Tutorial: Getting Started appeared first on WeCloudData.

Power BI Tutorial | A Series – Part 1: Why Learn Power BI and How It Can Accelerate Your Career or Business Every click, sale, and interaction in today’s data-driven economy produces information that is ready for analysis. However, raw data without proper interpretation is just noise. This gap is filled by Microsoft’s business intelligence […]

The post Power BI: A Complete Introduction for Career and Business Use appeared first on WeCloudData.

AI and automation are reshaping the global economy. Professionals in every industry, as well as startups and small enterprises, can now access what was formerly the domain of enterprise tech giants. Smarter operations, lower expenses, and quicker decision-making are just a few of the obvious benefits of AI automation for business. AI Is No Longer […]

The post How AI and Automation Are Transforming Jobs & Businesses appeared first on WeCloudData.

In today’s data-rich environment, businesses recognize the need to be data-driven; however, effectively acting on that data begins with descriptive analytics. Before a business can predict outcomes or optimize operations, it first needs to understand what has already happened. Descriptive data analytic provide critical insights hidden in historical data to paint a comprehensive picture of […]

The post Descriptive Analytics: Unlocking Business Insight Through Data appeared first on WeCloudData.

Data Job: Elevate your career with a compelling resume tailored for success. Uncover the transformative power of OpenAI API in crafting dynamic content that captivates hiring managers. Explore the art of showcasing data skills, quantifying achievements, and aligning with job descriptions.

The post Crafting an Effective Resume with OpenAI appeared first on WeCloudData.

The advancement in Artificial Intelligence has transformed the way we interact with technology. Conversational AI has made life more exciting and hassle-free. Among the most exciting developments in conversational artificial intelligence is ‘Character AI’. It brings personality, creativity, and emotional intelligence to every conversation. Character AI has one of the most engaging and human-like AI […]

The post Character AI: Meet the Most Advanced AI Chatbot With Personality appeared first on WeCloudData.

Businesses are always looking for more intelligent ways to predict customer needs, streamline processes, and obtain a competitive edge in today’s data-driven environment. Predictive analytics is one of the most effective technologies that can help achieve these goals. But what is predictive analytics, and how are businesses utilizing it to stay ahead? In this blog […]

The post What Is Predictive Analytics: How Businesses Are Using It appeared first on WeCloudData.

With the development of artificial intelligence, the corporate landscape is undergoing rapid change. Artificial Intelligence agents are software programs that can interact with their environment, collect data, perceive, learn, and perform actions based on their environment. AI intelligent agents in business have practical applications in multiple domains; they can be virtual assistants like Google Assistant, […]

The post How Businesses Are Using Intelligent Agents in AI: Real-World Applications appeared first on WeCloudData.

Oxbow is a project to take an existing storage location which contains Apache Parquet files into a Delta Lake table.

It is intended to run both as an AWS Lambda or as a command line application.

We are excited to introduce terraform-oxbow, an open-source Terraform module that simplifies the deployment and management of AWS Lambda and its supporting components. Whether you’re working with AWS Glue, Kinesis Data Firehose, SQS, or DynamoDB, this module provides a streamlined approach to infrastructure as code (IaC) in AWS.

✨ Why terraform-oxbow?

Managing event-driven architectures in AWS can be complex, requiring careful orchestration of multiple services. Terraform-oxbow abstracts much of thi…

One of the major themes for Infrastructure Engineering over the past couple

years has been higher reliability and better operational efficiency. In a

recent session with the Delta Lake project I was able to

share the work led Kuntal Basu and a number of other people to dramatically

improve the efficiency and reliability of our online data ingestion pipeline. Join Kuntal Basu, Staff Infrastructure Engineer, and R. Tyler Croy, Principal

Engineer at Scribd, Inc. as they take you behind the scenes of Scribd’s data

ingestion setup. They’ll break down the architecture, explain the tools, and

walk you through how they turned off-the-shelf solutions into a robust

pipeline. Video Presentation

https://youtu.be/Riy8860hHSo Unapologetically Technical’s newest episode is now live! In this episode of Unapologetically Technical, I interview Cliff Crosland, the co-founder and CEO of Scanner.dev. Cliff Crosland is a data engineer passionate about helping people wrangle massive log volumes. He sees logs as a treasure trove of insights and believes effective log analysis is critical in […]

The post Unapologetically Technical Episode 14 – Cliff Crosland first appeared on Jesse Anderson.

In this post, we discuss how DTDC and ShellKode used Amazon Bedrock to build DIVA 2.0, a generative AI-powered logistics agent.

This post explores a practical collaboration, integrating Salesforce Agentforce with Amazon Bedrock Agents and Amazon Redshift, to automate enterprise workflows.

In this post, we share how we built Account Plan Pulse, a generative AI tool designed to streamline and enhance the account planning process, using Amazon Bedrock. Pulse reduces review time and provides actionable account plan summaries for ease of collaboration and consumption, helping AWS sales teams better serve our customers.

This post demonstrates how to use AWS SCT to simplify and accelerate the migration of embedded Oracle SQL code within Java applications to PostgreSQL-compatible syntax. The solution focuses on a practical use case involving a source Oracle database coupled with a sample Java application containing numerous Oracle-specific SQL statements. By using AWS SCT, developers can automate much of the schema and SQL conversion process, reducing manual effort and minimizing errors during migration.

Today, we’re excited to announce the integration of Asana AI Studio with Amazon Q index, bringing generative AI directly into your daily workflows. In this post, we explore how Asana AI Studio and Amazon Q index transform enterprise efficiency through intelligent workflow automation and enhanced data accessibility.

This post explores the unique challenges facing the payments industry in scaling AI adoption, the regulatory considerations that shape implementation decisions, and practical approaches to applying responsible AI principles. In Part 2, we provide practical implementation strategies to operationalize responsible AI within your payment systems.

In Part 1 of our series, we explored the foundational concepts of responsible AI in the payments industry. In this post, we discuss the practical implementation of responsible AI frameworks.

In this post, we show how to process multi-page documents with a human review loop using Amazon Bedrock Data Automation and Amazon SageMaker AI.

In this post, we show how automatic semantic enrichment removes friction and makes the implementation of semantic search for text data seamless, with step-by-step instructions to enhance your search functionality.

In this post, we demonstrate how to build an AI assistant using Amazon Q Business that responds to user requests based on your enterprise documents stored in an S3 bucket, and how the users can use the reference URLs in the AI assistant responses to view or download the referred documents, and verify the AI responses to practice responsible AI.

Today, we are excited to announce the availability of Open AI’s new open weight GPT OSS models, gpt-oss-120b and gpt-oss-20b, from OpenAI in Amazon SageMaker JumpStart. With this launch, you can now deploy OpenAI’s newest reasoning models to build, experiment, and responsibly scale your generative AI ideas on AWS. In this post, we demonstrate how to get started with these models on SageMaker JumpStart.

Amazon Q Business is a fully managed, generative AI-powered assistant that helps enterprises unlock the value of their data and knowledge. With Amazon Q Business, you can quickly find answers to questions, generate summaries and content, and complete tasks by using the information and expertise stored across your company’s various data sources and enterprise systems. […]

This post demonstrates how to harness OpenSearch Dashboards to analyze logs visually and interactively. With this solution, IT administrators, developers, and DevOps engineers can create custom dashboards to monitor system behavior, detect anomalies early, and troubleshoot issues faster through interactive charts and graphs.

In this post, we address common multi-tenancy challenges and provide actionable solutions for security, tenant isolation, workload management, and cost optimization across diverse healthcare tenants.

In this blog post, AWS introduces a solution to a common challenge in scientific research - the inefficient management of fragmented scientific data. The post demonstrates how the next generation of Amazon SageMaker, through its Unified Studio and Catalog features, helps scientists streamline their workflow by integrating data management and analytics capabilities.

In this post, we show how to implement automated reporting for AWS Backup Vault Lock status across accounts in your organization. The solution uses AWS Organizations, the AWS Command Line Interface (AWS CLI), and cross-account access to create vault lock compliance reports.

In this post, we show you how Clari optimized their database performance and reduced costs by 50% by switching to Amazon Aurora I/O-Optimized.

In this post, we highlight how you can deploy multiple generative AI models in Amazon Bedrock to instruct an LLM model to create thematic summaries of text responses. We then show how to use multiple LLM models as a jury to review these LLM-generated summaries and assign a rating to judge the content alignment between the summary title and summary description.

In this post, we explore each component in detail, along with the technical implementation of the two core modules: course outline generation and course content generation.

In this post, we explore how Handmade.com, a leading hand-crafts marketplace, modernized their product description handling by implementing an AI-driven pipeline using Amazon Bedrock and Amazon OpenSearch Service. The solution combines Anthropic's Claude 3.7 Sonnet LLM for generating descriptions, Amazon Titan Text Embeddings V2 for vector embedding, and semantic search capabilities to automate and enhance product descriptions across their catalog of over 60,000 items.

In this post, we demonstrate how to use Amazon Bedrock Flows in SageMaker Unified Studio to build a sophisticated generative AI application for financial analysis and investment decision-making.

In this post, we demonstrate how to track and analyze multi-tenant model inference costs on Amazon Bedrock using the Converse API's requestMetadata parameter. The solution includes an ETL pipeline using AWS Glue and Amazon QuickSight dashboards to visualize usage patterns, token consumption, and cost allocation across different tenants and departments.

In this post, we explore an end-to-end analytics workload for streaming protobuf data, by showcasing how to handle these data streams with Amazon Redshift Streaming Ingestion, deserializing and processing them using AWS Lambda functions, so that the incoming streams are immediately available for querying and analytical processing on Amazon Redshift.

In this post, we introduce the newly announced Amazon Bedrock AgentCore Browser Tool. We explore why organizations need cloud-based browser automation and the limitations it addresses for FMs that require real-time data access. We talk about key use cases and the core capabilities of the AgentCore Browser Tool. We walk through how to get started with the tool.

In this post, we introduce the Amazon Bedrock AgentCore Code Interpreter, a fully managed service that enables AI agents to securely execute code in isolated sandbox environments. We discuss how the AgentCore Code Interpreter helps solve challenges around security, scalability, and infrastructure management when deploying AI agents that need computational capabilities.

In this post, we present how the Arize AX service can trace and evaluate AI agent tasks initiated through Strands Agents, helping validate the correctness and trustworthiness of agentic workflows.

In this post, we discuss how to implement a low-code no-code AIOps solution that helps organizations monitor, identify, and troubleshoot operational events while maintaining their security posture. We show how these technologies work together to automate repetitive tasks, streamline incident response, and enhance operational efficiency across your organization.

In this post, you’ll learn how you can use Amazon Q Developer command line interface (CLI) with Model Context Protocol (MCP) servers integration to modernize a legacy Java Spring Boot application running on premises and then migrate it to Amazon Web Services (AWS) by deploying it on Amazon Elastic Kubernetes Service (Amazon EKS).

To help you move faster with greater confidence, we’re introducing a new DynamoDB data modeling tool, available as part of our DynamoDB Model Context Protocol (MCP) server. The DynamoDB MCP data modeling tool integrates with AI assistants that support MCP, providing a structured, natural-language-driven workflow to translate application requirements into DynamoDB data models. In this post, we show you how to generate a data model in minutes using this new data modeling tool.

As a developer who has embraced the power of the Model Context Protocol (MCP)to enhance my workflows, I’m thrilled to see the addition of custom agents in the Amazon Q Developer CLI. This new feature takes the capabilities I’ve come to rely on to a whole new level, allowing me to seamlessly manage different development […]

Azure AWS GCP Others If any submitted by /u/WitnessKitchen9598 [link] [comments]

submitted by /u/rotzak [link] [comments]

I just want to set up a read replica on my local. Are there online free tools available for data syncing between my AWD RDS and local SQL? submitted by /u/SupportPerfect7932 [link] [comments]

Hi, I have around 2.9 years of experience as a data engineer. I have received 2 offers from 2 different organisations and the compensation is around 20 lpa fixed i am confused on which is to be choosen coz I have heard Treebo has lesser job security and often known for layoffs, but reveal healthtech is a startup organisation in health care which was founded in 2022. Also Treebo has hybrid with 2 WFO and Reveal healthtech has hybrid with 3 WFO Please help me choose amongst these 2 companies. submitted by /u/Any-Homework4133 [link] [comments]

Hi, long time lurker here. I am currently going into my 5th year at a state school (US) and will be graduating in Spring 2026 (only one class left) because I wanted to fit in an extra semester for an internship and ended up just pushing my class to the Spring. I have two data engineering internships under my belt, one from last summer which was at a public telecommunications company and the other one I am currently wrapping up at a small construction company where I basically created dagster pipelines to support dashboards and take the load off the database they had which was doing server to server loads (if that makes any sense). I am at a weird spot right now where while I did learn a lot…

Have you guys tried using GPT-5 for generating a pipeline DAG? It's exactly the same as Claude Code. It seems like we are approaching an asymptotical spot in the AI learning curve if this is what Sam Altman was saying was supposed to be "near AGI-level" What are you thoughts on the new release? submitted by /u/eczachly [link] [comments]

Hey guys, hope you’re having a great day so far I have recently crossed 6 years as an engineer and primarily as a data engineer. I do have some overlap in ML as well due to working with Data Scientists for a few years. Now I’m trying to find a new job as an ML Engineer but have been getting only rejections. Makes me wonder is it just me or something is not working out at an overall level. So, would love to hear opinion from you guys about whether the job market is equally bad for both ML and DE roles or the future and the job market looks brighter for Big Data roles. submitted by /u/RobotsMakingDubstep [link] [comments]

With gpt 5, ai is becoming even smarter. With simple prompts gives better result. At least what I saw from their video. Now as data engineer I am really scared and panicking. As to am I becoming irrelevant or do I need to learn something else? What are your takes for engineering jobs. Because there is a lot of panic. My colleagues , elder cousins all are saying it’s doom. We are not relevant anymore. I want to understand that if you are good and not the best then how can you survive in post ai era in engineering. What all should we learn. Please help me in understanding . submitted by /u/Simple-Particular323 [link] [comments]

Hi, the project is all going perfectly right now, and I want to add airflow, but an issue occurs in the Docker container. If anyone can help, come forward please. submitted by /u/AcrobaticAd2154 [link] [comments]

I have 10+ YOE and trying to explore backend development. I am struggling since alot of stuff is new and I am getting old (haha), should i keep trying or change my team and work only as data engg I know a data engg who is sticking to data , should i become jack of trades ? submitted by /u/Signal_Self_6178 [link] [comments]

Explore how STL uses LOESS smoothing to extract trend and seasonal components.

The post Time Series Forecasting Made Simple (Part 3.2): A Deep Dive into LOESS-Based Smoothing appeared first on Towards Data Science.

Metrics to track for RAG and agents, plus the frameworks that help

The post Agentic AI: On Evaluations appeared first on Towards Data Science.

From random example selection to systematic AuPair generation — how to make your LLM prompts actually work

The post Finding Golden Examples: A Smarter Approach to In-Context Learning appeared first on Towards Data Science.

Applying the Squeeze and Excitation module on ResNeXt using PyTorch

The post The Channel-Wise Attention | Squeeze and Excitation appeared first on Towards Data Science.

Unless you’re someone who lives and breathes cybersecurity, chances are you didn’t think much about authentication, network exposure, or what happens if someone else finds your server. This guide isn’t here to kill the excitement—it’s here to help you use MCP without opening the door to trouble.

The post The MCP Security Survival Guide: Best Practices, Pitfalls, and Real-World Lessons appeared first on Towards Data Science.

A deep dive into how post-processing can supercharge synthetic data generation

The post How I Won the “Mostly AI” Synthetic Data Challenge appeared first on Towards Data Science.

A look at noise, consistency and broken legs

The post The Machine, the Expert, and the Common Folks appeared first on Towards Data Science.

Learn how InfiniBand and RoCEv2 enable high-speed GPU communication

The post InfiniBand vs RoCEv2: Choosing the Right Network for Large-Scale AI appeared first on Towards Data Science.

Let's dissect the art and science of context engineering, one module at a time!

The post Context Engineering — A Comprehensive Hands-On Tutorial with DSPy appeared first on Towards Data Science.

Part 2: Guardrails, research code, reading

The post Things I Wish I Had Known Before Starting ML appeared first on Towards Data Science.

Welcome to the 21st century by the hand of large language models and reasoning AI agents

The post How a Research Lab Made Entirely of LLM Agents Developed Molecules That Can Block a Virus appeared first on Towards Data Science.

Combining unsupervised clustering with supervised learning to detect and predict stellar flares The post Stellar Flare Detection and Prediction Using Clustering and Machine Learning appeared first on Towards Data Science.

Let’s observe the matter on the atomic level

The post Exploratory Data Analysis: Gamma Spectroscopy in Python (Part 3) appeared first on Towards Data Science.

What happens when you stop concatenating and start decomposing: a new way to think about attention.

The post Mechanistic View of Transformers: Patterns, Messages, Residual Stream… and LSTMs appeared first on Towards Data Science.

Three pillars that shaped my first year in data science management - prioritization, empowerment, and recognition

The post From Data Scientist IC to Manager: One Year In appeared first on Towards Data Science.

Introducing a five-step engineering root cause analysis approach used by some of the best data engineering and data science teams for data quality issues.

Data lineage is a must-have feature of the modern data stack, yet we're struggling to derive value from it. Here's why and how we can fix this.

Snowflake cost optimization efforts need to be right sized. Read how to get the most savings without investing too much time and sweat.

The modern data warehouse architecture creates problems across many layers. Consider instead an immutable data warehouse for scale and usability.

How to improve your Data Quality Metrics and why it matters for your business.

Monte Carlo is rated #1, but we recognize there are alternatives. Here's how the experts evaluate data observability tools.

Monte Carlo is rated #1, but we recognize there are alternatives. Here's how the experts evaluate data observability tools.

How Pie Insurance improves data quality across their data vault architecture.

The data estate is evolving, and data quality management needs to evolve right along with it. Here are three common approaches and where the field is heading in the AI era.

How to use metadata to understand the root cause of data anomalies and take your data quality testing to the next level.

Conduct data incident management with 4 simple steps to identify, root cause, and fix data quality issues at scale.

The data estate is evolving, and data quality management needs to evolve right along with it. Here are three common approaches and where the field is heading in the AI era.

Learn 5 popular generative AI use cases the data teams at OpenAI, Whatnot, and other companies are generative AI to drive value today.

Learn 5 popular generative AI use cases the data teams at OpenAI, Whatnot, and other companies are generative AI to drive value today.

Struggling to decide whether to invest in a data warehouse vs. data lake vs. lakehouse? Here's everything you need to know to make this decision.

Apache Airflow 3.0.3Вышла минорная версия Apache Airflow — 3.0.3, в этой версии пофиксили множество багов: https://github.com/apache/airflow/releases/tag/3.0.3Я уже поставил, полёт нормальный.Но буквально на днях я нашел ещё один баг с утечкой памяти, но мне необходимо время чтобы его проверить и подтвердить (и возможно исправить ещё одним PR в мастер). К сожалению, релиз 3-й версии не очень радует, слишком много проблем + непривычный UI, ждём-с 3.1.А вы уже поставили тройку? Как полёт?Хотите запишу в YouTube скринкаст с комментариями об установке и настройке новой версии? Накидайте лайкосов и комментов под постом. 🔥🔥🔥

Ранее я писал про релиз Airflow 3.0.2 в котором исправили утечку памяти, но на деле оказалось, что не полностью. Проблема была решена лишь частично, мои пайплайны продолжали периодически падать и съедать память. Посидев вечерок я локализовал проблему и написал фикс, который благополучно был принят в главную ветку Airflow.Судя по всему релиз 3.0.3 не за горами.

Orchestrating Workflows for GenAI ApplicationsНа платформе DeepLearning AI вышел новый курс про Apache Airflow от ребят из Astronomer — Orchestrating Workflows for GenAI ApplicationsКурс прикладной без лишней воды, рассчитан на тех, кто не знаком с Airflow. В курсе разбирают пример создания кастомного RAG с последующей загрузкой в векторную базу через призму работы с Airflow. Возможно кому-то будет полезным!

Apache Airflow 3.0.2Буквально час назад вышла новая багфикс версия Apache Airflow 3.0.2. Я с недавнего времени начал использовать тройку на своих проектах и столкнулся с неприятным сюрпризом - утечкой памяти. Встроенный dag-processor плодил кучу тредов и открытых файлов из-за чего количество файл дескрипторов росло вместе с количеством потребляемой оперативной памяти. Важный апдейт. Обновился только что и пока наблюдаю решил ли релиз проблему, позже отпишусь в комментариях.Ссылка на релиз: https://github.com/apache/airflow/releases/tag/3.0.2

⚡️Пошаговый план: как стать аналитиком данных в 2025Хотите попасть в аналитику, но теряетесь в море информации и не понимаете, какие навыки действительно важны? Боитесь, что без опыта вас не возьмут на работу? И да, ещё один популярный вопрос — а что, если мне 30/40/50+ лет?Андрон Алексанян — эксперт по аналитике с 8-летним опытом и по совместительству CEO Simulative — покажет рабочие схемы и чёткий план, как устроиться в аналитику быстрее, даже если у вас нет опытаЧто будет на вебинаре?🟠 Разберёте полный роадмап: что учить, в каком порядке, до какого уровня;🟠 Лайфхаки трудоустройства:— покажут реальные примеры, как оформить резюме и портфолио, чтобы привлекать внимание;— обсудите, какие от…

Доклады с PyCon US 2025 🐍🐍🐍Когда я был на PyCon US в 2016 году в Портленде, то записи докладов в сети появлялись в тот же день, но последние года 4 организаторы решили на этом зарабатывать, и записи с конференций появляются со значительной задержкой (несколько месяцев и больше). В этот раз ситуация немного лучше, и на официальном Ютуб канале уже доступны спонсорские доклады для просмотра:— High-Performance Python: Faster Type Checking and Free Threaded Execution— Building AI Applications the Pydantic Way— Building Scalable AI Tool Servers with Model Context Protocol (MCP) and Heroku— Evolving Django: What We Learned by Integrating MongoDB— Accelerated Python: The Community and EcosystemПолн…

Релиз Apache Airflow 2.11.0Я уже не думал, что будут обновления для 2-й ветки Airflow, а тут релиз 2.11.0: https://github.com/apache/airflow/releases/tag/2.11.0Причем это не какой-то релиз с багфиксами, там есть новые фишки: — DeltaTriggerTimetable (trigger-based scheduling)— Consistent timing metrics across all backends— Более плавная подготовка к миграции на Airflow 3.0 (добавили команды airflow config lint и airflow config update)

The Practical Guide to Airflow 3 🚀Дорогие друзья, я вижу как вам нравятся посты про Apache Airflow. В этот раз очередной пост про него любимого 😊Прошла неделя с релиза Apache Airflow 3, и вот в сети от ребят из Astronomer выходит небольшая книга The Practical Guide to Airflow 3 за авторством Tamara Janina Fingerlin, Developer Advocate, Astronomer. Книга издательства Manning, доступна бесплатно в электронном формате. Книга заточена под новшества новой версии, и будет полезна как начинающим так и опытным дата инженерам, планирующим переход на тройку.У меня пока не дошли руки потестировать новую версию, планирую это сделать на выходных. А вы уже попробовали?

Релиз Airflow 3.0Час назад вышла мажорная версия Apache Airflow 3.0: https://github.com/apache/airflow/releases/tag/3.0.0Помимо полностью обновлённого интерфейса там ещё куча разных ништяков:— DAG Versioning (в сообществе долго ждали эту фичу, но мне она не особо нужна)— Code agnostic execution (появятся т.н. TaskSDK под разные языки программирования, начнут с Go)— Event-driven scheduling and Data Assets (под капотом всё те же триггеры, но механизм немного изменён)Подробности читайте здесь.

Ахтунг! Про Apache Iceberg™Как то не заметил, что легенда Tim Berglund вернулся в Confluent, и теперь снова вещает нам с экранов.На этот раз Тим разбирает Apache Iceberg: Apache Iceberg™ | What It Is and Why Everyone’s Talking About ItА вы уже использовали его у себя?

На злобу дняТрамп раскрыл тарифы на производительность популярных библиотек для анализа данных 😁Так вот в чем кроется секрет успеха pandas 🐼

Курс AI Agents от MicrosoftНашел на просторах сети бесплатный курс по AI Агентам от Microsoft: https://microsoft.github.io/ai-agents-for-beginners/Помимо текстового материала есть и видео лекции на Ютубе.

Привет!За два месяца ни одного нового поста. Признаться, мне стало неинтересно делиться ссылками на материал по теме и превращать канал в ссылкопомойку, но тем не менее я продолжаю активно читать и искать новые статьи/видео/лекции по темам:— data engineering— data processing— distributed systems— ml/ai engineeringУ меня возникла идея сделать аналог hackernews только по нашей теме. Там мы вместе сможем делиться интересным материалом, обсуждать и коллективно оценивать его.Я даже наговновайбкодил прототип 🤓, он сверху 🔝Что скажете? Накидайте мнений в комментах.

Прямо в сердце 😄

Deep Dive into LLMs like ChatGPTНа канале Andrej Karpathy вышло 3-х часовое видео с разбором как работают LLM модели на примере ChatGPT. Более того, чуть больше года назад он уже выпускал часовой ролик Intro to Large Language Models, который уже набрал более 2.5 миллионов просмотров!

Snowflake самый популярный и при этом “простой” инструмент. Почему “простой” в кавычках? Потому что с ним легко начать, везде всем знакомый SQL, запросы всегда работают, можно обрабатывать огромные массивы данных, маштабироваться горизонтально и вертикально. В общем одним плюсы на старте, а потом как повезет. В посте товарищ указал на некоторые из проблем, с которыми он столкнулся:Я работаю с технологией Snowflake уже 7 лет, и вот вещи, с которыми большинство внедрений Snowflake сталкиваются и с большим трудом справляются.- Role-based access control — Очень легко создать полный хаос, после чего команда DBA оказывается навечно занята решением проблем с доступами.- Virtual Warehouse deploymen…

Интересная статья про отрицательную селекцию

Как любил говорить мой любимый учитель английского в лицее №1501: «Когда одним хорошо, другим дурно».Когда читаешь истории о людях, которых увольняют из-за ерунды, становится грустно. Если бы я сам всегда был честен, не уверен, что смог бы перейти с завода ГКНПЦ им. Хруничева в Cetelem (BNP Paribas). К сожалению, у меня не было ментора, который мог бы подсказать, что учить, что говорить. Первые три месяца я вообще работал бесплатно.В индустрии всё давно уже самоорганизовалось. У компаний попроще — маленький бюджет, невысокие требования: туда проще попасть без большого опыта, подтянуть знания и идти дальше. Топовые компании платят лучше, у них строже отбор и более сложные задачи — туда уже н…

В русскоязычном IT прямо сейчас разворачивается один из крупнейших скандалов в этом году. Я не могу пройти мимо и хочу высказаться.Для контекста. Из компании Газпром-Медиа уволили накрутчика опыта, который работал над Rutube. Сотрудники службы безопасности нашли отзыв, который он оставил год назад, где рассказал, что накрутил опыт. Накрутчик работал в компании около года. С его перформансом всё было в порядке. Он готовился идти на повышение.То есть ещё раз: нормально работающего сотрудника уволили за то, как он попал в компанию год назад.Газпром-Медиа решили пойти дальше и устроили охоту на ведьм. Сотрудник считается заведомо недобросовестным, если подписан на «Осознанную Меркантильность» (…

В больших корпорациях есть методология выявления сотрудников с высоким потенциалом. Некоторые изобретают свою, некоторые по ощущениям, а кто-то берет готовый фреймворк, как например в статье The Ultimate Guide to High‑Potential IdentificationВ статье рассказывают про HiPo сотрудников (high‑potential) - это сотрудники с высоким интеллектом, стремлением к росту, гибкостью и лидерской направленностью, способные эффективно справляться с более сложными ролями в будущем.При оценке сотрудников учитываются такие признаки:- Стратегическое мышление- Стремление к совершенству- Обучаемость и адаптивность- Умение принимать решения- Проактивность и инициатива- Ориентация на руководящие роли- Построение о…

Изначально мы планировали из Парижа добраться до побережья Франции и взяли машину на 3 дня. Но я ошибся в расчетах и получилось на 6 дней. После Парижа мы поехали в Шампань, пробовать шампанское. Ездить по полям и лугам Франции показалось скучно и мы решили сразу устроить детям урок географии, прокатиться по немецкому автобану и съесть рульку с пивом, посмотреть на швейцарские банки, поесть пиццу в Италии на озере Лекко, где я проходил стажировку целый месяц лет 15 назад, поплавать на озере Комо и потом уже приехать на французскую Ривьеру. На карте увидели Баден Баден, что-то с урока по литературе и решили там остановится, покупаться в целебных водах и выпить с Достоевским, когда-то он тут …

Мы прилетели утром в Париж, чтобы посмотреть финал Tour de France. Шёл небольшой дождь, центр города был перекрыт, но это никого не смутило - все пришли поддержать спортсменов и почувствовать атмосферу великого события.Вот несколько интересных фактов о Tour de France (я попросил chatgpt рассказать про основные идеи гонки):🚴‍♂️ Что такое Tour de France?Tour de France — это крупнейшая и самая престижная многодневная шоссейная велогонка в мире. Она проводится ежегодно во Франции (иногда частично затрагивая соседние страны) и собирает лучших велогонщиков планеты.📆 Когда она началась?Первая гонка прошла в 1903 году, её организовала газета L’Auto для повышения продаж. С тех пор она проводится поч…

Знаете какая самая популярная метрик в SaaS бизнесе? ARR (Annual Recurring Revenue). Это когда вы продаете продукт по подписке (subscription), где клиенты могу платить по месяцам. То есть, если купили ChatGPT за 20$ в месяц, то ARR будет 12x20=240$. Конечно, там всякие нюансы, про годовую vs месячную подписку, B2B vs B2C, модели ценообразования и тп, но это прям must have domain knowledge. Есть еще и MRR, ну вы поняли:)Но пост-то не про это😜Обычно когда мы в найме, мы работаем за зарплату. Зарплата может быть gross/net, за месяц/за год. Но ключевое слово зарплата, где мы ощущаем себя наемными (то есть легко заменимыми) рабочими, которых хотят заменить то ли AI, то ли дешевой рабочей силой и…

В сентябре Яндекс выпустит Нейроаналитика — ИИ-помощника, встроенного в DataLens. Сервис поможет находить закономерности в данных, ускорять отчёты и проверку гипотез. Всё — через чат без кода и формул. Создан на базе Yandex Cloud AI Studio. Поддерживает облачную и локальную установку. Уже используется внутри Яндекса. Сейчас можно уже оставить заявку в листе ожидания.Реклама. ООО Яндекс.Облако. ИНН 7704458262

В свежей статье Cursor makes developers less effective автор затронул важную для разработчиков тему - помогает ли AI IDE делать работу быстрей? Его пост написано основе исследования - Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity, в котором приняло 16 разработчиков. Разработчики решали 136 реальных задач. Им платили по 150$ в час за участие в эксперименте.Что же интересного в исследовании?📊 Главный результат: AI замедляет, вопреки ожиданиям- Разработчики с AI-инструментами выполняли задачи на 19% дольше, чем те, кто работал без AI.- При этом они ожидали ускорения на 24%, и даже после замедления считали, что ускорились на 20%.- Это говорит о серьёзно…

Нужен ли TPM (Technical Product Manager или просто Product Manager) в дата-команде?Это очень хороший вопрос. Можно рассмотреть плюсы и минусы.Главная задача такого человека - быть связующим звеном между бизнесом и инженерами/аналитиками. Раньше этим занимался бизнес-аналитик. Так было на проектах в Cetelem (BNP Paribas) и Сбербанке.Для нас самая сложная часть работы - понять, чего хочет бизнес, как он зарабатывает деньги и как двигать метрики (добавлять ценность).Задача TPM - всё это понимать и знать, что и когда нужно сделать, какие приоритеты и цели. Тогда инженеры и аналитики работают с максимальной эффективностью.Конечно, многие команды обходятся без TPM, и, поскольку люди не глупые, он…

Бесплатный курс по PostgreSQL от практиков рынкаПрисоединяйтесь к бесплатному курсу по основам PostgreSQL от Selectel и Эльбрус Буткемп. Он будет полезен Junior- и Middle-специалистам: администраторам баз данных, разработчикам, DevOps-инженерам и аналитикам. Вы научитесь: 🔹создавать и связывать таблицы,🔹выполнять базовые операции с данными,🔹работать с РСУБД.Бонусы: вы можете получить сертификат о прохождении курса, а также промокоды для практики на мощностях Selectel. Начните обучение уже сегодня.Реклама. АО «Селектел», ИНН 7810962785, ERID: 2VtzqwWX4Pi

В приложение документ - Winning the Race: America’s AI Action PlanЭто 28‑страничная стратегия, представленная администрацией Дональда Трампа 23 июля 2025 г., определяющая ключевые шаги для укрепления лидерства США в сфере искусственного интеллекта. Он был опубликован одновременно с серией указов (Executive Order 14179 от 23 января 2025 г.), направленных на отмену ограничений предыдущих администраций и ускорение внедрения ИИ Автор и инициатор: Белый дом при участии — «потомственных» ИИ‑менеджеров, включая так называемых «ИИ и крипто‑царей», в первую очередь тех, кого назначил Трамп, например Давид Сакс (частый гость All In подкаста)Основные акценты планаУскорение инноваций— снятие регуляторн…

Как найти работу за рубежом, если страшно и непонятно, с чего начать?Международный рынок открывает двери к крутым проектам, зарплатам в долларах и евро, но искать работу за границей долго, нудно и слишком сложно!А самое главное, вообще непонятно, что делать. Правила рынка совсем другие. Здесь мало резюмешки на хэдхантере и рекрутеры за тобой не бегают толпами. Зато нужно заводить LinkedIn, искать рефералы, выискивать вакансии среди десятков джоб-бордов...Разобраться самому почти невозможно. Зато есть такие ребята как AgileFluent 👇Они уже 4 года помогают IT и Digital специалистам выйти на международный рынок. На их счету — 350+ офферов в 22 странах в такие компании как Amazon, Cisco, UniCred…

Ютубер сохранил PNG в скворцеМы уже рассказывали про хранение данных на бумаге и в черно-белых видео с помехами, но недавно обнаружилось еще более оригинальное хранилище — скворец. Точнее, песня скворца.Ютубер Бенн Джордан выложил видео, где рассказал, как записывал и анализировал песни разных птиц. Одной из этих птиц стал скворец по имени Рот (или Mouth), который всю жизнь прожил с людьми и научился имитировать окружающие его звуки вроде щелчка камеры или человеческих голосов. 🔜 Джордан нарисовал картинку с птичкой ☝🏻 Он обработал в спектральном синтезаторе, чтобы представить ее в виде звука и проиграл ее скворцу. Тот добавил этот звук в свою «библиотеку» и несколько раз вполне точно воспр…

📈 Вакансии аналитиков с HHУ нас с Колей из Left Join есть отличный проект по аналитики вакансий с HH. И я переделал дашборд с Tableau на интерактивный сайт. Основная проблема с дашбордом на Табло была в том, что он не догружает автоматически новые данные. Давно чесались руки исправить это, обновить сам дашборд, переделать логику определение типа вакансий и сделать его сам прикольнее. Для реализации я использовал сервис replit.com. Мне понравилось как я с ним работал раньше и я думал, что я часа за три соберу нужный дэшик. Ведь данные и макет дашбоорда уже есть. Как же я ошибался 🫠250$ и 40 часов позже я понял, что навайбкодить такой продукт пока что всё ещё очень сложно. В основном приходил…

Самые обсуждаемые базы данных на Hacker News Hacker News — новостной сайт, где постят обо всем по чуть-чуть, но в основном про ИТ. И именно в ИТ-сообществе он очень популярен, поэтому по нему можно отслеживать некоторые тренды индустрии. Это может быть полезно, если хотите быть в курсе, какие фреймворки и инструменты сейчас востребованы, а какие уходят в прошлое.На иллюстрации к посту — график с частотой упоминаний разных БД и СУБД в заголовках новостей на HN. Это только его «хвост» — полная версия, созданная на основе 1,8 млн постов, охватывает период с 2007 года по 2025. В оригинальной статье, кроме графика (там он интерактивный, кстати), есть еще и несколько таблиц с данными о количестве…

Как выглядят данные без границМетрики во всем мире одинаковые и считаются по одним и тем же формулами. И данные одинаковые, и методологии тестов тоже.Но при этом подходы к аналитике в Европе, США, Азии и Африке будут совершенно разные. И даже одни и те же метрики между двумя странами — например, LTV в Египте и в США — сравнивать надо очень осторожно.Про региональные особенности и то, как они влияют на работу с данными, рассказал Олег Иванов, глава продуктовой аналитики из Garage Eight. Это компания, которая создает продукты для управления инвестициями для заказчиков со всего мира.Что еще будет в выпуске?🔵Что вообще такое «управление инвестициями», и чем в Garage Eight занимаются аналитики.🔵…

Что коэффициент конверсии не объясняетВ отличие от её 7 компонентовВы работали над оптимизацией Conversion Rate, но ничего не изменилось.Потому что CR – это только вершина айсберга.Он не объясняет путь клиента.И уж точно не показывает, где именно отваливаются покупатели.Вместе с Колей Валиотти из LEFT JOIN мы собрали и визуализировали 7 компонентов конверсии, которые объясняют, где может "протекать" воронка😀.1/ Коэф. интереса к товарам = просмотры карточек товаров / сессииПоказывает, насколько посетители вообще заинтересованы в товарах.2/ Из просмотра в добавление в корзину= добавления в корзину / просмотры товараОтражает привлекательность и понятность предложения.3/ Из корзины в начало офо…

В прошлом посте ребята из JetMetrics показали, как смотреть LTV в совокупности с другими метриками. Сегодня — как оценивать разные компоненты конверсии, чтобы отследить путь клиента. 👇🏻

Как уменьшить расходы на хранение данных и не отстать от AI-гонки? Использовать КХД на архитектуре Lakehouse. По данным Databricks, 74% западных компаний уже мигрировали на эту архитектуру, которая объединяет сильные стороны DWH и Data Lake, а также служит фундаментом для быстрого внедрения AI.Протестируйте КХД нового поколения VK Data Lakehouse, чтобы снизить расходы и ускорить аналитику. 🔵Дешевое хранение данных в S3-хранилище: 3 рубля за 1 ГБ с репликацией в облаке в месяц.🔵Транзакционность. Табличный формат поверх S3 обеспечивает ACID и полноценную работу в сценариях DWH.🔵Ускорение аналитики благодаря MPP SQL-движку, который обеспечивает параллельную работу с данными из разных источнико…

Одинаковый LTV. Совершенно разные бизнесы.LTV = $180 может выглядеть нормально.Но вот в чём дело:Одна компания получает эти $180 с 2 заказов, в среднем. Другая – с 6 мелких покупок за 8 месяцев.Да и всё остальное разное:→ Поведение при повторных заказах→ Динамика удержания→ CAC→ МаржинальностьМы с Колей Валиотти из LEFT JOIN показали в одном простом визуале, как это может выглядеть.Что тут важно:Одна метрика LTV не расскажет, какой бизнес работает лучше.А что ещё важнее:Ни одна метрика не даёт ответа в одиночку и в изоляции от других. Важно понимать систему: структуру, взаимосвязи, контекст.Это то, на чём мы фокусируемся в JetMetrics.Теперь главный вопрос:Какой из этих двух бизнесов вы бы с…

Отличный пост от наших друзей из jetmetrics про то, как важно смотреть на метрики в совокупности и оценивать всю систему в целом, а не ориентироваться только на один показатель 👇🏻

Топ ошибок в AB-тестах, которые стоят маркетологам конверсий1️⃣ Остановить тест, как только наметился победитель, и не ждать статзначимой выборки. 2️⃣ Тестировать больше одного параметра за раз и не понять, что именно сработало.3️⃣ Следить только за целевой метрикой и упускать падение других.На мастер-классе с Фоксфордом вы узнаете, как проводить тесты по науке, чтобы растить open rate, click rate и конверсию в заказ. Для зрителей — проверенные гипотезы и чек-лист достоверного AB-теста.🔜 29 июля, 11:00 мск. Онлайн, бесплатноЗарегистрироватьсяРеклама. ООО «Майндбокс», ИНН: 7713688880

Стратегический гайд по увеличению LTVLifetime Value — это метрика, которая показывает, сколько денег клиент приносит компании за все время взаимодействия с ней. Ее очень любят маркетологи, потому что она помогает рассчитать, сколько денег можно потратить на привлечение и удержание клиентов, и не уйти в минус. Так что на первый взгляд польза от этой метрики довольна очевидна — считайте LTV (формул целая куча, выбирайте, какая больше нравится), считайте, сколько денег ушло на рекламу, и следите, чтобы вторая цифра не становилась больше первой. 🔜 Но главная ценность LTV все-таки не в этом, а в вопросах, которыми приходится задаться, если метрика снижается или растет. 🔵Почему LTV падает, хотя с…

Нейроаналитик в Yandex DataLensПомните, недавно рассказывали про новости DataLens и загадочную новую фичу, которая готовится к запуску? 🔥 Мы принесли подробности.В DataLens появится Нейроаналитик — AI-агент, который поможет создавать и редактировать сложные визуализации данных на JavaScript, искать инсайты и делать выводы по данным из таблиц и графиков. Нейроаналитик призван сделать работу с DataLens приятнее для всех. С разработчиков он снимет рутинные задачи по верстке графиков и дашбордов, чтобы больше времени оставалось на более интересные обязанности. Бизнес-пользователи, которые не умеют в код и датавиз, смогут сами, не привлекая аналитиков, покопаться в данных. В общем, путь к инсайт…

Пятиминутка ИТ-историиА вы когда-нибудь задумывались, почему функции вызывают? Это выражение используется, кажется, применительно ко всем языкам программирования, где вообще есть функции, которые можно вызывать. Оно стало таким привычным, что многие вряд ли задумываются, откуда оно взялось. Очевидно, что в русский язык выражение пришло из английского, а откуда там появилось «call function»?🔜 История термина начинается с XIX веке — но с изысканий Ады Лавлейс, а в библиотеке. В 1876 году в Oxford English Dictionary впервые упоминается термин call number — номер, под которым книга значится в библиотечном каталоге.🔜 После этого первые упоминания «вызова» и «библиотеки» подпрограмм встречаются в…

fuzzy: Нечеткое сравнение строк в SQLiteРасширение nalgeon/fuzzy помогает сравнивать строки на похожесть и транслитерировать текст.Одни функции считают расстояние между строками (чем оно больше, тем сильнее отличаются строки):-- Расстояние Дамерау-Левенштейнаselect fuzzy_damlev('awesome', 'aewsme');-- 2-- Расстояние Хэммингаselect fuzzy_hamming('awesome', 'aewsome');-- 2-- Расстояние Джаро-Винклераselect fuzzy_jarowin('awesome', 'aewsme');-- 0.907142857142857Другие функции рассчитывают фонетический код строки (помогает определять слова, которые похоже звучат):-- Caverphoneselect fuzzy_caver('awesome');-- AWSM111111select fuzzy_caver('owesome');-- AWSM111111-- Refined soundexselect fuzzy_rso…

fileio: Работа с файлами в SQLiteРасширение nalgeon/fileio добавляет в SQLite возможность читать и писать файлы прямо из SQL.fileio_write записывает данные в файл:select fileio_write('hello.txt', 'hello world');fileio_read читает содержимое файла:select fileio_read('hello.txt');-- hello worldfileio_scan читает файл построчно, не загружая целиком в память:select rowid, value from fileio_scan('lines.txt');-- 1,one-- 2,two-- 3,threeКроме того, есть fileio_append (дописывает данные в файл) и функции для работы с каталогами — fileio_mkdir (создает каталог) и fileio_ls (читает содержимое каталога).Как установить расширение

define: Пользовательские функции в SQLiteКак известно, в SQLite нет хранимых процедур.Предполагается, что вместо них программист реализует нужные функции в своем коде (например, на Python) и зарегистрирует их в SQLite (так называемые application-defined functions).Но можно добавлять новые функции и прямо из SQL, если установить расширение nalgeon/define:-- Суммирует числа от 1 до nselect define('sumn', ':n * (:n + 1) / 2');select sumn(5);-- 15Еще пример:-- Генерит случайное число от 1 до ndefine('randint', ':a + abs(random()) % (:b - :a + 1)');select randint(10, 99);-- 67Расширение также включает функцию eval — можно динамически выполнять SQL из строки:-- Создаем и заполняем таблицуselect e…

crypto: Хеши, кодирование и декодирование в SQLiteОткрываю новую серию заметок. В каждом посте буду рассказывать об одном полезном расширении SQLite.Начнем с nalgeon/crypto. Оно предоставляет функции для расчета хешей, а также кодирования и декодирования данных.Хеши:select crypto_blake3('abc');select crypto_md5('abc');select crypto_sha1('abc');select crypto_sha256('abc'));-- и другиеКодирование/декодирование:Base32:select crypto_encode('hello', 'base32');-- NBSWY3DPselect crypto_decode('NBSWY3DP', 'base32');-- helloBase64:select crypto_encode('hello', 'base64');select crypto_decode('aGVsbG8=', 'base64');Hex:select crypto_encode('hello', 'hex');select crypto_decode('68656c6c6f', 'hex');Еще п…

Бесплатный вебинар «Аналитика без посредников: как Data Mesh и dbt помогают бизнесу работать с данными»Классический подход к аналитике больше не справляется: централизованные команды перегружены, TTM растёт, а бизнесу не хватает гибкости.На бесплатном вебинаре разберём, как распределить ответственность за данные, ускорить аналитику и внедрить подход Data Mesh с помощью dbt.Что вас ждёт:– Почему традиционные DWH-модели не масштабируются– Что такое Data Mesh и как его внедрять по шагам– Как dbt помогает аналитикам работать быстрее и прозрачнее– Реальный кейс: от определения доменов до контроля качества📌 Дата: 14 августа в 12:00 (мск)🎙 Спикер: Павел Хамрин, сооснователь DataPulse, 10+ лет в BI…

🔍 Как трансформеры меняют область NLP и что стоит за LLM? На открытом уроке «Трансформеры как основа современного NLP» 12 августа в 18:00 МСК мы разберём, как архитектура трансформеров революционизирует обработку естественного языка. Вы познакомитесь с принципами работы трансформерных моделей и их применением в современных технологиях.Это откроет вам доступ к самым актуальным методам NLP и поможет стать востребованным специалистом в Data Science.🚀 Регистрируйтесь и получите скидку на курс «NLP / Natural Language Processing»: https://clck.ru/3NVngbРеклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru

🚀 Когда аналитика — топливо, а бизнес — ракета!Как построить долгосрочную модель бизнеса, спрогнозировать ключевые метрики и выбрать оптимальную стратегию роста — об этом в новом выпуске «Диванной аналитики» рассказывает Батыржан Юсуп-Ахунов, старший аналитик команды стратегии вертикали Авито Товары.Что внутри:☄️ как «дерево» прогнозирования помогает связать метрики и предсказать будущее;☄️ зачем бизнесу нужна динамическая система и целевой функционал;☄️ как Авито использует методы оптимального управления для выбора стратегии;☄️ и как автоматизация экономит сотни часов ручной работы.🎥 Обо всем подробно смотрите в пятом выпуске «Диванной аналитики» по ссылке, а также подписывайтесь на телегр…

Контест по Машинному обучению ⤵️Приглашаем к участию всех, увлечённых искусственным интеллектом и матстатистикой! Мы подготовили для вас задачи по машинному обучению, теории вероятностей, классической статистике и родственным областям.📃 Расписание и правила〰️ Онлайн-формат на платформе Яндекс Контест, участие индивидуальное〰️ Стартовать можно в любое время с утра 1 августа до вечера 3 августа〰️ У вас будет 24 часа на решение задач〰️ Решения принимаются только до 3 августа 23:59 по московскому времени, после этого времени отправка решений будет невозможна〰️ Соревнование не будет включать high-compute задач по ML — есть смысл участвовать всем!🏆 ПризыДля участников основного зачёта:〰️ 1 место:…

Системный анализ - смежная с data analyst профессия, крайне востребованная в бигтехе. Цифры подтверждают: на hh.ru больше трех тысяч открытых вакансий в РФ со средней зарплатой около 180-200к рублей.Но системный аналитик работает не с BI и не только с SQL: ему требуется глубокое понимание Rest API, Kafka, Redis и LocalStorage.⚡️ it.t Academy создала полноценную песочницу в формате онлайн-магазина, внутри которого вы будете своими руками "дергать апишки", взаимодействовать с Kafka, Redis и LocalStorage, и научитесь применять SQL!Вы освоите профессию в течение 3 месяцев плотной рил-тайм учебы, а переход из смежной сферы data-анализа поможет вам легче освоить материал) ✍🏻 Пишите t.me/ittalkera…

Исследование WEF: 60% компаний ждут масштабных цифровых изменений к 2030 году — готовы ли вы?По данным отчёта Всемирного экономического форума (WEF), к 2030 году порядка 60% компаний по всему миру планируют кардинально трансформировать свои технологические платформы и процессы.При этом исследование подчёркивает, что лишь небольшой процент руководителей считают свои организации готовыми к таким масштабным изменениям. Большинство испытывает сложности с отслеживанием актуальных трендов и адаптацией стратегий.Что делать?- Окружить себя проверенной, актуальной информацией — от экспертов, которые знают, как работают эти технологии на практике.- Понимать, где заканчиваются хайп и теория, и начинае…

Иногда тебе не нужен отчёт — тебе нужен ответ.Не 40 слайдов, а один график, который скажет: вот здесь просела конверсия. Или: тут стоит протестировать гипотезу.И вот с этим в сентябре выходит новый инструмент — Нейроаналитик. Это AI-агент, который помогает работать с данными на уровне «спросил — получил». Он встроен в DataLens, работает как чат и понимает естественный язык. Не надо знать код, не надо писать формулы.Ты просто говоришь:«Покажи динамику продаж за квартал, разбей по регионам и сравни с прошлым годом» — и получаешь график.«Добавь воронку и измени метрику на средний чек» — и он перестраивает визуализацию. Это не замена аналитикам. Это штука, которая закрывает 80% рутины, особенно…

Эта вакансия для тех, чья страсть — оптимизация, масштабирование и автоматизация. Ищут опытного руководителя команды DBA. В числе задач: ◾️ Эксплуатация и сопровождение инфраструктуры баз данных; ◾️ Построение отказоустойчивых кластеров БД и распределение нагрузки; ◾️ Поддержка масштабирования приложений, консультация разработчиков, сопровождение миграций Предстоит взаимодействовать с разработчиками и DevOps, заниматься архитектурным планированием. 🛠 Помимо опыта в DBA и тимлидстве, требуется понимание принципов работы (no)SQL баз данных, PostgreSQL и MySQL. 👇 Познакомьтесь поближе с тимлидами Lamoda в коротком видео — возможно, среди них ваши будущие коллеги. Узнайте больше о вакансии и от…

Что под капотом у системы модерации контента в Авито 🤔В новом выпуске «Диванной аналитики» Рафаэль Биктимиров, старший аналитик команды автомодерации Авито, рассказывает:☄️ как выстроена система, которая проверяет видео по трём каналам — изображение, звук, текст;☄️ как аналитика помогает измерять точность и масштабировать автомодерацию;☄️ и почему одна модель — не решение, если нет правильной разметки и метрик.Выпуск для тех, кто хочет понять, как устроена реальная модерация контента.📺 Смотрите четвертый выпуск → по ссылке.

LangChain запустили Open Deep Research — open-source решение для построения агентских цепочек исследований с LLMПока все крупные игроки (OpenAI, Anthropic, Perplexity, Google) выпускают свои проприетарные решения для deep research, LangChain создали открытую альтернативу на базе LangGraph.Что внутри:• Трёхэтапный процесс: уточнение задачи → исследование → написание отчёта• Мульти-агентная архитектура с супервизором и под-агентами для параллелизации• Гибкость — можно подключить любые модели, поисковые инструменты и MCP-сервераКлючевые инсайты:• Мульти-агенты хороши только для легко распараллеливаемых задач (исследование), но плохи для координации (написание отчёта);• Контекст-инжиниринг крит…

Системный анализ - смежная профессия с data analyst, крайне востребованная в бигтехе. Цифры подтверждают: на hh.ru больше трех тысяч открытых вакансий в РФ со средней зарплатой около 180-200к рублей.Но системный аналитик работает не с BI и не только с SQL: ему требуется глубокое понимание Rest API, Kafka, Redis и LocalStorage.⚡️ it.t Academy создала полноценную песочницу в формате онлайн-магазина, внутри которого вы будете своими руками "дергать апишки", взаимодействовать с Kafka, Redis и LocalStorage, и научитесь применять SQL!Вы освоите профессию в течение 3 месяцев плотной рил-тайм учебы, а переход из смежной сферы data-анализа поможет вам легче освоить материал) ✍🏻 Пишите t.me/ittalkera…

Хотите освоить Python с экспертами НИУ ВШЭ и начать путь в аналитику?Онлайн-магистратура «Аналитика больших данных» запускает бесплатный интенсив по Python и аналитике. 4 вечера, чтобы разобраться с базовыми инструментами анализа данных и решить свои повседневные задачи.Что вас ждёт:— 4 онлайн-занятия: от синтаксиса Python до работы с таблицами и визуализации— Практические примеры и мини-кейсы— Домашки и пошаговые материалы на Stepik для отработки навыкаКогда: 15–19 июля, 19:00 (по МСК)Формат: онлайн + чат с преподавателемЕсли давно хотели разобраться с Python, это удобная точка входа с экспертной поддержкой и ценными знаниями.🔗 Зарегистрироваться

⚡️Как получить первый оффер аналитика данных: разбираем кейсы и тестовое заданиеАналитика — работа непростая, надо много учиться, но и не rocket science. Главное — системный подход и понимание, куда двигаться.Александр Дарьин - ментор курса «Инженер данных» в Simulative, пришел в аналитику из рабочей профессии и уже через 2,5 года стал Senior'ом. Сейчас — старший аналитик данных ООО СберТройка. У Александра уже был опыт, когда он приводил в профессию других людей: своего отца, друга, подписчиков, но «успешного успеха» сразу не бывает, поэтому нужно знать как именно выстроить свой путь в профессии наилучшим образом. Итак, если вы тоже думаете о трудоустройстве в аналитике, обсудим это на веб…

Сегодня в гостях автор канала «Датавиз в BI» Алиса Ручкина.Она ответит на самые частые вопросы начинающих BI-разработчиков:🔹 Как выбрать график?Используй карточки визуализации от DataYoga или посмотри в любом чарт-чузере из подборки.🔹 Как сделать график правильным и эстетичным?Рекомендации собраны в датавиз-стратагемах от DataYoga.🔹 Как подобрать цвета?Прочитай памятку о цвете в визуализации данных.🔹 Как собрать требования для дашборда?Используй шаблон Dashboard Canvas 2.0 и посмотри видеоролики на Youtube, добавленные на доску.🔹 Из чего состоит процесс разработки дашборда?Загляни на доску ДАО процесса разработки дашборда от DataYoga. Больше подборок по датавизу и не только ты найдешь в кан…

До ключевого события в области применения данных в финтехе – Fintech Data Day – осталось меньше недели!В программе будет 3 трека:1. Основной «Максимум данных в финтехе для ускорения бизнеса»2. Трек открытого диалога «Создаем коллаборацию вокруг данных в финтехе»3. Спецтрек «Инновационные технологии и аналитика на базе ИИ. Управление экономикой продуктов на основании данных в транспорте»Хедлайнеры форума:💰 Виктор Кантор, настоящая легенда в сфере данных. Виктор строил службу машинного обучения «Яндекс.Такси», руководил группой анализа пользовательского поведения в Yandex Data Factory. В наст. время – советник генерального директора в МТС💰 Анна Казакова, директор по рискам, вице-президент, Т-…

Все, что я люблю, в одной статье: Clickhouse, Tesla, ScalabilityДумаю, по скриншоту все понятно 🤪https://clickhouse.com/blog/how-tesla-built-quadrillion-scale-observability-platform-on-clickhouse@ohmydataengineer - канал "🕯Труба Данных"

https://dbtips.substack.com/p/the-core-principles-of-robust-dataКазалось бы, очень простые советы, но каждый раз смотря на очередной DWH, я удивляюсь тому, какую мешанину там напридумывали, что это очень тяжело поддерживать.@ohmydataengineer - канал "🕯Труба Данных"

Мокаемся в Study & LearnВ OpenAI завезли Study & Learn. Я решил попробовать на o3 модели, можно ли помокаться по SQLПромпт на входе.I want to test my knowledge on SQL, can you prepare test questions for me and work on them with commentary? Experience level - advancedFocus area - should cover all aspectsFormat & length - mix, it should cover standard 30 minute interviewПолучился план из 6 задач ===1. Окна: вторая по выручке датаТаблица sales(salesperson_id, sale_date, amount). Для каждого продавца вернуть дату второй по сумме выручки за день.Классическая задача на оконки с агрегатными функциям. GROUP BY, SUM(amount), ROW_NUMBER(), фильтр rown = 2, исключить продавцов с одной датой.ДиалогЯ сп…

Пятничный юмор. Хайп-трейн не остановить!🤪

Агенты (не AI) говорят, что появился черновик (то есть сырая версия до редактуры) второй версии кабанчика.@ohmydataengineer

Первый дашборд в новой рубрике #референсРеференс (от англ. reference — «отсылка», «справка») — это изображение, которое используется для поиска вдохновения и идей. 💡И то, что вдохновляет, и то, откуда можно взять концепцию. Под этим хэштегом я планирую выкладывать примеры дашбордов и отмечать в них интересные детали, которыми можно обогатить свои проекты.Почему я решила создать такую рубрику?В визуализации данных популярен формат «прожарки», когда эксперты критически оценивают дашборды и предлагают варианты улучшения. Такие разборы очень полезны для развития датавиз-навыков и понимания того, «как не надо», но для развития также важно тренировать насмотренность на хорошее и черпать свежие ид…

Давненько я не рассказывал про другие каналы и ничего не репостил (да и не писал в целом почти 2! недели).Как-то надо возвращаться в строй =)Вот, например, Алиса попросила рассказать про свой канал про дата-виз. Мб кому-то будет полезно и интересно 😏

Clickhouse 25.5https://clickhouse.com/blog/clickhouse-release-25-05@ohmydataengineer - канал "🕯Труба Данных"

Мои бывшие коллеги продолжают поставлять годный контент в пятничную рубрику!@ohmydataengineer - канал "🕯Труба Данных"

https://ducklake.selectDuckDB -> Duck Data Lake.Ну вы поняли. @ohmydataengineer - канал "🕯Труба Данных"

Максимальное спасибо @valiotti и @cyprusdata за организацию этого эвента!Если вы на Кипре и вы хотите быть в курсе дата-событий и понетворкаться и пообсуждать датку -> вступайте (через формочку) https://tally.so/r/nPpOEP

Редкое явление для нашего острова!Зато под одной крышей солидная кучка дата инженеров и дата аналитиков!

Неделя или месяц покупок- Snowflake -> Crunchy Data https://techcrunch.com/2025/06/02/snowflake-to-acquire-database-startup-crunchy-data/ (видимо, чтобы сделать Snowflake Postgres)- Salesforce -> Informatica https://techcrunch.com/2025/05/27/salesforce-acquires-informatica-for-8-billion/ (оно еще живо и дергается на 8 миллиардов 🤪)- Alation -> Numbers Station https://techcrunch.com/2025/05/20/alation-acquires-numbers-station-to-bolster-its-ai-agent-offerings/ (шо-то модное для агентов)- ServiceNow -> Data.World https://techcrunch.com/2025/05/07/servicenow-acquires-data-world-two-months-after-acquiring-moveworks/ (кто-нибудь слышал про этот каталог и governance platform?)- Databricks -> Neon…

https://clickhouse.com/blog/clickstack-a-high-performance-oss-observability-stack-on-clickhouseТут Clickhouse аннонсировал опенсорсное (но платно тоже можно) решение для логов, метрик, трейсов - ClickStack@ohmydataengineer - канал "🕯Труба Данных"

Исследование специалистов по работе с данными — 2025DevCrowd запускает новый опрос для дата-инженеров, аналитиков, дата-сайентистов, ML-инженеров и их руководителей.Зачем участвовать?– чтобы понять, какие задачи и инструменты сейчас в тренде,– увидеть, как устроена работа у коллег в других продуктах,– узнать, как растут зарплаты и роли в индустрии,– получить данные, которые можно использовать для самодиагностики и карьерного планирования.🗂 Пример прошлогоднего исследования — https://devcrowd.ru/ds24📝 Опрос займёт 15 минут, результаты появятся в открытом доступе в августе.👉 Пройти опрос - https://survey.alchemer.eu/s3/90842227/data-2025@ohmydataengineer

🤑 yet another zarplatyклассный пример коллаборации: Саша Варламов собрал парсер и визуализациюhttps://t.me/data_bar/60а Никита это дело автоматизировал https://t.me/joni_in_web/21в результате получаем работающий проект и возможность посмотреть живую аналитику зарплат — на скрин вынес кусочек деша с фильтром по аналитике.что мне нравится в подобных проектах: 1. проактивность — сам придумал, сам спроектировал, сам затащил, сам отчитался в блог 2. коллаборация — организоваться вдвоём гораздо сложнее, чем сделать одному, но эффект может быть круче 3. полезность, направленная наружу: когда решал свою задачу, а польза — всемв общем, смотрите деш и ставьте лайки Саше с Никитой)

🦆 прилетят орлы и поднимут продкогда в работе встречаю какую-то проблему, то первым делом хочется написать в командный чатик, типа «ребята, там на дисках место заканчивается» со стороны это читается как «там на дисках место заканчивается … кто-нибудь сделайте что-нибудь!»получается, что я привлекаю внимание всех коллег к проблеме и тогда один из коллег (кстати, кто?) должен оторваться от своего текущего контекста и пойти расследовать эту проблему, потратить своё время и внимание, и найти причину и потенциальное решениено если я уже видел проблему, почему бы самому не посмотреть глубже, потратить какое-то время на расследование и прикинуть варианты решений. и в результате прийти в чатик уже …

2/2в общем, много чего для нужд аналитики в удб уже есть, но чего там нет — надо додумывать самому)из озвученного — нет поддержки триггеров и хранимых процедур. плюс конечно как у любого нового инструмента нет такого богатого набора аддонов и инструментов как у того же постгреса, то же относиться и к коммьюнити.плюс в документации есть отдельная сноска чего пока нет в колоночных таблицах> В настоящий момент реализована не вся функциональность колоночных таблицhttps://ясубд.рф/docs/ru/concepts/datamodel/table.html#column-oriented-tables(надеюсь, документация просто чуток отстаёт от новых фич)⌘⌘⌘в теории звучит хорошо — один инструмент лучше, чем пять разных (при прочих равных)если задачи пос…

📦 YDB + OLAP = ?ydb — это отлп-база данных от Яндекса. основная характеристика — нативная распределённость с поддержкой транзакции. из свойства распределённости следует высокая доступность и гибкая масштабируемость. помимо олтп-базы там есть ещё такая сущность как топики, с кафка-совместимым апи.и вот недавно ребята объявили, что ещё они идут в сторону олап-нагрузки. собирая эдакую всё-в-одном базу: с одной стороны у вас сервисы, с другой аналитика, а между ними нативный сдс-процесс, прямо не выходя из контура бд. https://yandex.cloud/ru/blog/posts/2024/12/ydb-dwh⌘⌘⌘интересно посмотреть со стороны аналитики и нашего двх-мира.→ очереди настраиваются через SQL-команды (кажется, в кликхаусе мо…

🗿 подкасты про карьеру специально для постоянной читательницы этого блога — Натальи — ни к чему не обязывающая подборка подкастов на тему карьеры, её смены и всякого такого >_>подкасты хороши тем, что можно слушать на фоне, удобно чтобы ненапряжно набраться чужого опыта. пока остальные процессы ещё только готовятся или обдумываются⌘⌘⌘первым делом, конечно, стоит упомянуть про подкаст «собес» — в последнем сезоне они делают эпизоды в формате мок-собесов. это когда реальный рекрутер под реальную вакансию собесит кандидата прямо в эфире, а потом дают обратную связь и говорят что можно подкрутить. на своём опыте ощутил, что полезно послушать со стороны как звучит все эти привычные фразы и что и…

так! пора поговорить о действительно важных вещах, о которых почему-то все молчат — об оптимизации процесса загрузки посудомоечной машинычто же там оптимизировать, спросите вы? сейчас расскажу: ⁃ есть куча грязной посуды в раковине ⁃ надо её загрузить в посудомойку ⁃ чтобы всё влезло ⁃ и чтобы всё промылосьвот мы всё загрузили, оно помылось, настал финальный этап — разгрузка посуды и её раскладка по своим местам в ящиках и шкафах. и вот тут всплывает ещё одно — неявное — требование к процессу: упорядочивание. ведь (когда они не в мойке и не в раковине) вилки живут с вилками, ложки — с ложками; глубокие тарелки с одной стороны, отдельно от плоских. у кастрюль и плошек тоже есть свои места.и …

🏦 новый_план(2)_finalв 2021 у меня был план, который потом пришлось спешно править и вот спустя всего год снова пришлось пере-пере-придумывать план.в шведской Кларне нотис-период был два месяца, было время подумать-подготовиться. исходный план был максимальной широкий: «посмотреть всех» — включая иностранные компании.сперва готовился, искал зарубежом (чтобы работать из рф), но в итоге сузил поиск до стандартного варианта — находиться в Москве и работать на местную компанию.конечно, сразу в голове был вариант с Яндексом — благо для бывших сотрудников есть опция фаст-трека, и (ожидаемо) некоторое количество людей, готовых поработать вместе или же посоветовать таких.но я решил воспользоваться …

😭 как я не прошёл «собес» в ABBYсходил на подкаст к Кире Кузьменко, поговорили в формате мок-интервьюhttps://t.me/kirafound/1861ещё год назад я бы точно не рискнул публично собеситься — да ну его! но в последнее время стал спокойнее ко всему относиться: даже «отказ» это тоже новый опыт. тем более в этом случае была полезная обратная связь от Киры и Татьяны.было интересно поговорить и ещё более интересно узнать «как надо».→ главный вывод, который я для себя сделал — надо готовиться к собесам (ваш кэп!) и хотя бы гуглить непонятные слова из вакансии. по своим другим вакансиям я обычно знал ключевые технологии и их особенности, но конкретная эта вакансия была чуть в стороне: про обработку данн…

⚖️ собесы: дисбаланс за столомбывало на собесе сижу-пыхчу над задачкой, отбрасывая варианты один за другим, в итоге в муках порождаешь вроде-ничего-такое решение… только для того, чтобы интервьюер на той стороне нашёл там несколько критичных багов, и не особо запариваясь при этом. в такие моменты я чувствовал себя совсем тупым. ну или как минимум тупее интервьюера (а значит, тупее среднего сотрудника целевой компании!) 🤦‍♂️и хотя интервьюер действительно может быть умнее собеседуемого, в конечном итоге в этом вся идея: лиды собесят к себе в команду, синьоры собесят миддлов и т.д.; всё-таки не стоит забывать что человек на той стороне скорее всего проводит не первый собес, а значит уже набил…

как сказал докладчик, ближайший аналог YTsaurus в опенсорсном мире — тот самый Hadoop. либо более современный S3 + Trino (+ обвязка)https://ytsaurus.tech/ru/platform-overviewАрхитектурно YTsaurus состоит из нескольких слоев:1. распределённая файловая система и хранилище метаданных (Cypress).2. планировщик с поддержкой парадигмы MapReduce.3. высокоуровневые среды вычислений: YQL, CHYT (ClickHouse over YT), SPYT (Spark over YT).

🦖 как вытаскивали динозавра в опенсорскаджый яндексоид знаком с «ытём» — система хранения данных с sql-подобным доступом. я бы сказал, что YT находится в центре всех процессов яндекса, которые завязаны на анализ данных (это получается, практически всех?)(недавно осознал, насколько это внушительный буст для команды, когда у тебя по дефолту уже есть данные в нужном месте и доступная инфра, чтобы быстро начать ими пользоваться)а с не давних пор, посмотреть на этого дивного зверя могут все желающие — теперь YTsaurus доступен в опенсорс. ↓ доклад с прошлогоднего хайлоада с отчётом и рефлексией команды по итогам первой фазы этого эпического движа (да-да, с офф. релизом работа только началась))⌘ о…

🤑 как я искал валютную удалёнкукогда я понял (ещё будучи в Стокгольме), что где-то осенью уже точно буду менять работу, я начал прикидывать варианты.на тот момент (и с той стороны границы) самым выгодным казался вариант «валютной удалёнки»: когда платят в валюте европейского уровня зарплату, а я сам буду попивать смузи у себя в Москве. в уме я рисовал себе картину как буду получать на руки 5-7к долларов хе-хе-хеда, схема подразумевает, что у меня будет открыто грузинское или армянское ип, куда будут переводить оклад. насколько я понимаю налоги там что-то порядка 1% и открыть можно условно за несколько дней пребывания на месте. звучит несложно и вполне легально.⌘я начал искать вакансии, откл…

за время своей безработности я поговорил-познакомился с десятком компаний: посмотрел как там устроен процесс собесов, как общается команда на встречах, что за стэк используют и какие планы у команды.среди всех начатых процессов мне запоминалась команда Купера (они же Sbermarket до июня 2024, а ещё раньше это был Instamart)начнём с того, что это был самый быстрый процесс: обратная связь после каждой встречи буквально на следующий день и минимальный интервал между встречами. можно считать, что зачёт на отсутствие бюрократии получен «автоматом».сам процесс был тоже без лишних этапов — быстрый скрининг и две секции: поговорить по душам за технику и потом за твой опыт и мотивациюв целом осталось…

🤓 подгтовка к собесам: список техвопросов в мой прошлый заход по поиску работы я исходил из довольно наивного подхода: вот я такой красивый работу работаю, по пути что-то узнаю новое, вот это и буду отвечать на собесах! если чего-то не знаю, то так тому и быть; типа за два часа не стану профи во всех вопросах.в итоге на интервью на вопрос «какую базу выберешь под задачу» отвечал «хехехе, постгрес!». и хотя по всё нарастающей универсальности последнего ещё можно было бы дожать ответ, если бы я был наглее и увереннее; но по факту интервьюеры прекрасно понимали по ответу, что других баз я просто не в курсе.в этот раз я решил подготовиться заранее: сделать список потенциальных тем, которые обыч…

👋 Саша Михайлов, безработныйпочти год назад я писал, как устроился в шведский финтех Klarna и уехал жить в Стокгольм. Раз уж написал начало истории, напишу и её окончание 😭что же случилось? не прошел перфоманс ревью? очередные лейоффы? Кларна закрылась? всё гораздо проще: семья не прижилась в новой стране и мы решили вернуться назадне зря говорят, что основная сложность при эмиграции приходится именно на плюсодинов. В отличие от супруги, у меня был и клёвый офис, куда можно было ходить, и живые люди с кем можно было пообщаться за жизнь; поэтому мне было гораздо проще адаптироваться и в целом я чувствовал себя на своём месте.в итоге семья уехала «на лето к бабушкам на родину», откуда потом р…

In this episode, Pallavi Koppol, Research Scientist at Databricks, explores the importance of domain-specific intelligence in large language models (LLMs). She discusses how enterprises need models tailored to their unique jargon, data, and tasks rather than relying solely on general benchmarks. Highlights include: - Why benchmarking LLMs for domain-specific tasks is critical for enterprise AI. - An introduction to the Databricks Intelligence Benchmarking Suite (DIBS). - Evaluating models on...

In this episode, Kilian Lieret, Research Software Engineer, and Carlos Jimenez, Computer Science PhD Candidate at Princeton University, discuss SWE-bench and SWE-agent, two groundbreaking tools for evaluating and enhancing AI in software engineering. Highlights include: - SWE-bench: A benchmark for assessing AI models on real-world coding tasks. - Addressing data leakage concerns in GitHub-sourced benchmarks. - SWE-agent: An AI-driven system for navigating and solving coding challenges. - Ov...

In this episode, Dipendra Kumar, Staff Research Scientist, and Alnur Ali, Staff Software Engineer at Databricks, discuss the challenges of applying AI in enterprise environments and the tools being developed to bridge the gap between research and real-world deployment. Highlights include: - The challenges of real-world AI—messy data, security, and scalability. - Why enterprises need high-accuracy, fine-tuned models over generic AI APIs. - How QuickFix learns from user edits to improve AI-dri...

In this episode, Chang She, CEO and Co-founder of LanceDB, discusses the challenges of handling multimodal data and how LanceDB provides a cutting-edge solution. He shares his journey from contributing to Pandas to building a database optimized for images, video, vectors, and subtitles. Highlights include: - The limitations of traditional storage systems like Parquet for multimodal AI. - How LanceDB enables efficient querying and processing of diverse data types. - The growing importance of ...

In this episode, Michele Catasta, President of Replit, explores how AI-driven agents are transforming software development by making coding more accessible and automating application creation. Highlights include: - The difference between AI agents and copilots in software development. - How AI is democratizing coding, enabling non-programmers to build applications. - Challenges in AI agent development, including error handling and software quality. - The growing role of AI in entrepreneurshi...

In this episode, Brandon Cui, Research Scientist at MosaicML and Databricks, dives into cutting-edge advancements in AI model optimization, focusing on Reward Models and Reinforcement Learning from Human Feedback (RLHF). Highlights include: - How synthetic data and RLHF enable fine-tuning models to generate preferred outcomes. - Techniques like Policy Proximal Optimization (PPO) and Direct Preference Optimization (DPO) for enhancing response quality. - The role of reward models in improving ...

In this episode, Andrew Drozdov, Research Scientist at Databricks, explores how Retrieval Augmented Generation (RAG) enhances AI models by integrating retrieval capabilities for improved response accuracy and relevance. Highlights include: - Addressing LLM limitations by injecting relevant external information. - Optimizing document chunking, embedding, and query generation for RAG. - Improving retrieval systems with embeddings and fine-tuning techniques. - Enhancing search results using re-...

In this episode, Yev Meyer, Chief Scientist at Gretel AI, explores how synthetic data transforms AI and ML by improving data access, quality, privacy, and model training. Highlights include: - Leveraging synthetic data to overcome AI data limitations. - Enhancing model training while mitigating ethical and privacy risks. - Exploring the intersection of computational neuroscience and AI workflows. - Addressing licensing and legal considerations in synthetic data usage. - Unlocking private dat...

In this episode, Julia Neagu, CEO & co-founder of Quotient AI, explores the challenges of deploying Generative AI and LLMs, focusing on model evaluation, human-in-the-loop systems, and iterative development.Highlights include:- Merging reinforcement learning and unsupervised learning for real-time AI optimization.- Reducing bias in machine learning with fairness and ethical considerations.- Lessons from large-scale AI deployments on scalability and feedback loops.- Automating workflows wi...

In this episode, Sharon Zhou, Co-Founder and CEO of Lamini AI, shares her expertise in the world of AI, focusing on fine-tuning models for improved performance and reliability.Highlights include:- The integration of determinism and probabilism for handling unstructured data and user queries effectively.- Proprietary techniques like memory tuning and robust evaluation frameworks to mitigate model inaccuracies and hallucinations.- Lessons learned from deploying AI applications, including insigh...

In this episode, Shashank Rajput, Research Scientist at Mosaic and Databricks, explores innovative approaches in large language models (LLMs), with a focus on Retrieval Augmented Generation (RAG) and its impact on improving efficiency and reducing operational costs.Highlights include:- How RAG enhances LLM accuracy by incorporating relevant external documents.- The evolution of attention mechanisms, including mixed attention strategies.- Practical applications of Mamba architectures and their...

In this episode, Jure Leskovec, Co-founder of Kumo AI and Professor of Comuter Science at Stanford University, discusses Relational Deep Learning (RDL) and its role in automating feature engineering. Highlights include:- How RDL enhances predictive modeling.- Applications in fraud detection and recommendation systems.- The use of graph neural networks to simplify complex data structures.

Недавно мы закончили уже 12-й сезон «Запуска завтра», и, как обычно, хотим узнать, что вы думаете о нем и о подкасте в целом — что вам нравится, что не нравится и какие эпизоды вы бы хотели услышать в новом сезоне. Мы сделали небольшой опрос и просим вас его пройти, это займет 5-7 минут и поможет сделать подкаст еще лучше. Проходите опрос по ссылке: https://form.typeform.com/to/ACkYIF0TСпасибо вам и до встречи в новом сезоне!

Частные ракеты, выводящие в космос тысячи спутников, многоразовые корабли, журналисты и звезды голливуда на орбите Земли… Космическая индустрия последние десятилетия развивается так стремительно, что не за всеми ее прорывами успеваешь следить. Многие из этих достижений стали возможны благодаря частным компаниям, ворвавшимся в космическое пространство. В эпизоде разбираемся, как в космос пришло стартап-мышление и к чему это приводит.Реклама. АО «СЕЛЕКТЕЛ» ИНН 7810962785,Selectel — база для развития любого современного бизнеса. Создавайте и масштабируйте проекты на IT-инфраструктуре Selectel: https://slc.tl/rolvv?erid=2SDnjf2MjAd ***Разработка сайтов и мобильных приложений от Самата: https://…

Железная рука, собирающая новое авто на конвейере; андроид, сортирующий коробки на складе; дружелюбный экран для общения и даже секс-кукла под управлением ChatGPT — все это достижения робототехники. Когда-то роботы были железными, неповоротливыми и подчинялись алгоритмам. Сегодня мы хотим сделать их гибкими, мягкими и эмпатичными. В этом выпуске наблюдаем, как эволюционировали роботы — от игрушек-автоматонов 18 века до умных машин на пути к координации, ощущениям, выражению эмоций и другим человеческим качествам. ***Реклама. АО «СЕЛЕКТЕЛ» ИНН 7810962785,Кейс с RPA-платформой и с тысячами одновременно работающих голосовых роботов: https://slc.tl/0c7d0 Selectel — база для развития любого совр…

Умение играть в шахматы, доказывать теоремы, видеть образы на картинах и самим их создавать, писать тексты и общаться на естественном языке - долгое время мы считали, что так умеет только человек благодаря интеллекту. Однако, сегодня нейросети и языковые модели тоже умеют все это, но о разумности машин речи по-прежнему не идет. Тогда что такое искусственный интеллект, если не набор умений, похожих на человеческие? В этом выпуске разбираемся, как инженеры и философы больше века пытаются создать мыслящую машину и каждый раз добиваются лишь имитации разума.***Реклама. АО «СЕЛЕКТЕЛ» ИНН 7810962785,Selectel — база для развития любого современного бизнеса. Создавайте и масштабируйте проекты на IT…

В начале прошлого века электроавтомобили конкурировали с бензиновыми на равных, но затем почти сошли со сцены. Все из-за врожденных проблем электродвигателя, над которыми инженеры бьются больше столетия. В этом выпуске разбираемся, какой путь прошли электроавто, как это связано с прогрессом технологии аккумуляторов, какую революцию совершила корпорация Tesla и почему даже ей не удалось посадить нас всех на электрические автомобили.***Реклама. АО «СЕЛЕКТЕЛ» ИНН 7810962785,Selectel — база для развития любого современного бизнеса. Создавайте и масштабируйте проекты на IT-инфраструктуре Selectel: https://slc.tl/y9vpu?erid=2SDnjeZjvkd***Слушайте бонусные эпизоды «Запуска завтра» и других подкаст…

Что если деньги — это не только бумага и цифры, а прежде всего доверие? А если доверие можно зашить в код — зачем нам тогда банки и государства? Этот выпуск — история о том, как кризис 2008 года дал толчок поиску альтернативных денег, а вместе с ним — целой идеологии децентрализации финансовой системы. Мы проследим путь криптовалют от идей энтузиастов до мировых финансовых рынков и попробуем понять: действительно ли перед нами — будущее денег, или всего лишь неудачный эксперимент?***Реклама. АО «СЕЛЕКТЕЛ» ИНН 7810962785,Selectel — база для развития любого современного бизнеса. Создавайте и масштабируйте проекты на IT-инфраструктуре Selectel: https://slc.tl/c0uf3?erid=2SDnjdWbmPz ***Новый ку…

Самат Галимов и Егор Хмелев — два технических директора. У них в компаниях работают десятки людей, чья основная работа — писать код. При этом многие адепты ИИ убеждены, что совсем скоро с этой задачей будет лучше справляться машина. В этом эпизоде Самат и Егор обсуждают, как применять ИИ в работе и не облажаться, что такое «вайб-кодинг» и каким они видят будущее профессии программиста.6+. Реклама. АО «ПФ «СКБ Контур». ОГРН 1026605606620. 620144, Екатеринбург, ул. Народной Воли, 19А. erid: 2SDnjdkRA4cКонтур — эко-система продуктов для бизнеса. О работе в компании: https://kontur.ru/s/a2os66jkПодкаст «Никакого правильно»: https://pc.st/1488479498Эпизод про микробиом: https://pc.st/e/6U9su2556…

Почему так сложно перестать листать шортсы? Соцсети и сервисы управляют вниманием пользователей и таким образом удерживают их на платформах. За счет чего это получается? Самат Галимов говорит о закономерностях работы психики и разбирает примеры из пользовательского опыта с Еленой Горбуновой — исследовательницей цифровых интерфейсов.6+. Реклама. АО «ПФ «СКБ Контур». ОГРН 1026605606620. 620144, Екатеринбург, ул. Народной Воли, 19А. erid: 2SDnjdjAFoSКонтур — эко-система продуктов для бизнеса. О работе в компании: https://kontur.ru/s/a2os66jkМатериалы, которые мы упоминали в эпизоде: Телеграм-канал HSE UX LAB: https://t.me/hse_ux_lab Видео с невидимой гориллой: https://clck.ru/3Hunwr Подкаст «С…

Функции одного и того же устройства меняются в зависимости от того, в каких условиях его используют. Так происходит из-за программных ограничений. Откуда они берутся? На что распространяются? И как пользователям не позволить себя обмануть? Самат Галимов разбирается в этих вопросах вместе с редакторкой подкаста Машей Агличевой.6+. Реклама. АО «ПФ «СКБ Контур». ОГРН 1026605606620. 620144, Екатеринбург, ул. Народной Воли, 19А. erid: 2SDnjeLHht8 Контур — эко-система продуктов для бизнеса. О работе в компании: https://kontur.ru/s/a2os66jkПодкаст «Почему мы еще живы»: https://pc.st/1568720773Слушайте бонусные эпизоды «Запуск++», а еще другие бонусы студии «Либо/Либо» по подписке ЛибоЛибо+ в Apple…

Устройства и программы, которыми мы пользуемся, умеют намного больше, чем мы можем себе представить. В США и других странах активисты борются за то, чтобы технологии были более совместимыми, а производители давали покупателям больше свободы решать, как пользоваться их продуктами. Почему это важно и какие крутые возможности появятся в интероперабельном будущем? Обсуждаем с активистом в сфере цифровых прав Кори Доктороу. 6+. Реклама. АО «ПФ «СКБ Контур». ОГРН 1026605606620. 620144, Екатеринбург, ул. Народной Воли, 19А. erid: 2SDnjdDJ444Контур — экосистема продуктов для бизнеса. О работе в компании: https://kontur.ru/s/a2os66jk Полная версию разговора на английском языке доступна по подписке. …

Еще несколько месяцев назад YouTube смотрели около 100 миллионов россиян. В июле пользователи начали жаловаться на медленную загрузку видео, сейчас их вообще не получается запустить. Как блокировка такого популярного сервиса стала возможна? И что значил YouTube для россиян? Самат Галимов говорит с исследовательницей интернета Полиной Колозариди и одним из ведущих специалистов по блокировкам в рунете Филиппом Кулиным.Сайт проекта «Эшер II»: https://usher2.club/ Телеграм-канал «Эшер II A+»: https://t.me/usher2«Эшер II». Рассказ из книги Рея Брэдбери «Марсианские хроники»: https://usher2.club/usher2 Ссылка на бесплатный VPN-сервис: https://vpngen.org/ Подкаст «Закат империи»: https://pc.st/149…

GDPR — это регламент Евросоюза о персональных данных, изменивший цифровое пространство во всем мире. Из-за него компании могут собирать данные о пользователях только по определенному алгоритму, а люди — влиять на то, какой информацией делятся. По каким правилам собирают наши данные? Кто их придумал? И как обезопасить себя? Самат Галимов говорит с Сергеем Сайгановым — сооснователем юридической фирмы Comply.6+. Реклама. АО «ПФ «СКБ Контур». ОГРН 1026605606620. 620144, Екатеринбург, ул. Народной Воли, 19А. erid: 2SDnjchXZZvКонтур — IT-разработчик продуктовой экосистемы для бизнеса. О работе в компании: https://kontur.ru/s/a2os66jkПоддержите студию подкастов «Либо/Либо», которая выпускает этот …

Спутники в космосе надежнее, чем кабели на дне океана? Можно ли заблокировать спутниковый интернет? Как Starlink вырвался вперед на рынке? В этом эпизоде разбираемся, как устроен и как регулируется спутниковый интернет. Гости эпизода — киберадвокат и основатель общественной организации «Роскомсвобода» Саркис Дарбинян и популяризатор космонавтики Виталий Егоров.6+. Реклама. АО «ПФ «СКБ Контур». ОГРН 1026605606620. 620144, Екатеринбург, ул. Народной Воли, 19А. erid: 2SDnjeLHht8Контур — IT-разработчик продуктовой экосистемы для бизнеса. О работе в компании: https://kontur.ru/s/a2os66jkБлог Виталия: https://www.youtube.com/@egorovkot Подкаст «На каком основании»: https://pc.st/1735291623Выпуск …

На рынке искусственного интеллекта появился новый игрок. Китайская нейросеть DeepSeek сравнима по качеству с моделями OpenAI, Anthropic и Google, но на ее разработку потратили в десятки раз меньше. Вместе с Артемом Родичевым из стартапа Ex-Human разбираемся, как у DeepSeek это получилось, что это значит для лидеров индустрии и как отразится на обычных пользователях.6+. Реклама. АО «ПФ «СКБ Контур». ОГРН 1026605606620. 620144, Екатеринбург, ул. Народной Воли, 19А. erid: 2SDnjeQu4bvКонтур — IT-разработчик продуктовой экосистемы для бизнеса. О работе в компании: https://kontur.ru/s/a2os66jkСсылка на курс студии «Либо/Либо» по подкастам: https://course.libolibo.me/ Выпуск с участием Артема про …

Купить телефон с хорошим дизайном или возможностью скачать приложение банка? Это выбор, перед которым оказываются пользователи и у которого нет технических причин. Как приложения попадают в AppStore? Что свободнее: телефоны или компьютеры? И кто решает, как пользователям распоряжаться своими устройствами? Самат Галимов ищет ответы вместе с редакторкой подкаста Машей Агличевой.6+. Реклама. АО «ПФ «СКБ Контур». ОГРН 1026605606620. 620144, Екатеринбург, ул. Народной Воли, 19А. erid: 2SDnjbt4aGLКонтур — IT-разработчик продуктовой экосистемы для бизнеса. О работе в компании: https://kontur.ru/s/a2os66jkПодкаст «Это непросто»: https://pc.st/1437512522 Выпуск «Это непросто» про лимонады lapochka: …

Чтобы углубить знания в Python записывайтесь на продвинутый курс Learn Python — https://clck.ru/3MxaHi Ведущие – Григорий Петров и Михаил Корнеев

Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/ Канал Moscow Python в VK — https://vk.com/moscowpythonconf

Курс «Практики программирования» от Learn Python поможет углубить знания и прокачать написание кода. Подробности: https://clck.ru/3MxaHi

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuSmw Новости выпуска: State of Free Threading Python (FTP) — https://pyfound.blogspot.com/2025/06/python-language-summit-2025-state-of-free-threaded-python.html Проблемы честной Concurrency — https://pyfound.blogspot.com/2025/06/python-language-summit-2025-fearless-concurrency.html Как дела у Python на мобилке — https://pyfound.blogspot.com/2025/06/python-language-summit-2025-python-on-mobile.html Python can run Mojo now — https://koaning.io/posts/giving-mojo-a-spin/

Заменит ли AI джунов? — https://blog.adarshd.dev/posts/pycon-us-ai-and-future-of-programming/ …

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MWZEX Ведущие – Григорий Петров и Михаил Корнеев

Новости выпуска: Microsoft дропнула спонсорскую поддержку Faster CPython project и уволила большую часть команды — https://discuss.python.org/t/community-stewardship-of-faster-cpython/92153/10;

Python 3.14 Beta — https://pythoninsider.blogspot.com/2025/05/python-3140-beta-1-is-here.html;

The first year of free-threaded Python — https://labs.quansight.org/blog/free-threaded-one-year-recap;

Тайпчекеры — https://engineering.fb.com/2025/05/15/developer-tools/introducing-pyrefly-a-new-type-checker-and-ide-experience-f…

Python Day на Positive Hack Days 2025 — https://clck.ru/3KW4fm

Ведущие – Григорий Петров и Никита Соболев Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python

Канал Moscow Python в Telegram — https://t.me/moscow_python

Все выпуски — https://podcast.python.ru

Митапы Moscow Python — https://moscowpython.ru

Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/ Канал Moscow Python в VK — https://vk.com/moscowpythonconf

Python Day на Positive Hack Days 2025 — https://clck.ru/3KW4fm Ведущие – Григорий Петров и Никита Соболев

Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python

Канал Moscow Python в Telegram — https://t.me/moscow_python

Все выпуски — https://podcast.python.ru

Митапы Moscow Python — https://moscowpython.ru

Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/

Канал Moscow Python в VK — https://vk.com/moscowpythonconf

Python Day на Positive Hack Days 2025 — https://clck.ru/3KW4fm Ведущие – Григорий Петров и Михаил Корнеев

Новости выпуска: В Python закончили затаскивать криптографию из HACL* — https://jonathan.protzenko.fr/2025/04/18/python.html

Релиз Pydantic v2.11 — https://pydantic.dev/articles/pydantic-v2-11-release

Dependency groups и экспериментальная поддержка pylock.toml в pip — https://ichard26.github.io/blog/2025/04/whats-new-in-pip-25.1/ Приняли PEP 768 – Safe external debugger interface for CPython — https://peps.python.org/pep-0768/

Приняли PEP 750 – Template Strings — https://peps.python.org/pep-0750/ Отклонили PEP 736 – Shorthand syntax for keyword arguments at invocation — https://peps.pyt…

Python Day на Positive Hack Days 2025 — https://clck.ru/3KW4fm Ведущие – Григорий Петров и Денис Аникин Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python

Канал Moscow Python в Telegram — https://t.me/moscow_python

Все выпуски — https://podcast.python.ru

Митапы Moscow Python — https://moscowpython.ru

Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/

Канал Moscow Python в VK — https://vk.com/moscowpythonconf

Python Day на Positive Hack Days 2025 — https://clck.ru/3KW4fm

Ведущие – Григорий Петров и Михаил Корнеев

Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru

Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/

Канал Moscow Python в VK — https://vk.com/moscowpythonconf

Python Day на Positive Hack Days 2025 — https://clck.ru/3KW4fm Ведущие – Григорий Петров и Михаил Корнеев

Новости выпуска: Django 5.2 — https://docs.djangoproject.com/en/5.2/releases/5.2/ PEP 751, стандарт lock-файлов в Python — https://peps.python.org/pep-0751/ Генерации UUIDv7 включена в стандартную библиотеку Python — https://habr.com/ru/news/887958/ Here’s how I use LLMs to help me write code — https://simonwillison.net/2025/Mar/11/using-llms-for-code/ PEP 779: Criteria for supported status for free-threaded Python — https://peps.python.org/pep-0779/ и https://discuss.python.org/t/pep-779-criteria-for-supported-status-for-free-threaded-python/84319 Setuptools 78.0.1 breaks the internet …

Ведущие – Григорий Петров и Михаил Корнеев Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/ Канал Moscow Python в VK — https://vk.com/moscowpythonconf

https://python-day.python.ru — CFP Python Day

Ведущие – Григорий Петров и Михаил Корнеев

Новости выпуска: Первая бета LTS-релиза Django 5.2 - https://docs.djangoproject.com/en/dev/releases/5.2/ PEP 772 – Packaging governance process https://peps.python.org/pep-0772/ Official Django MongoDB Backend Public Preview - https://www.mongodb.com/blog/post/mongodb-django-backend-now-available-public-preview Poetry — https://python-poetry.org/blog/announcing-poetry-2.0.0/ Проекты на PyPI теперь можно помечать как архивные https://blog.pypi.org/posts/2025-01-30-archival/

Отклонили PEP 2026 – Calendar versioning for Python - https://peps.python.org/pep-2026/

Developer philosophy — https://qntm.org/devp…

Предварительная запись на офлайн-курс Learn Python в Москве — https://forms.gle/wE7Lit97U9Q2q3oT9 CFP Python Day — https://python-day.python.ru Ведущие – Григорий Петров и Михаил Корнеев Ссылки от Александра Храмогина:

RAG — https://github.com/langgenius/dify - https://dify.ai/ База по промтингу — https://learnprompting.org/docs/introduction Релевантный Roadmap — https://roadmap.sh/ai-engineer Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — htt…

Предварительная запись на офлайн-курс Learn Python в Москве — https://forms.gle/wE7Lit97U9Q2q3oT9 Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: Safe external debugger interface for CPython — https://peps.python.org/pep-0768/

результат опроса Facebook об аннотациях типов в Python — https://engineering.fb.com/2024/12/09...

возможность указывать SBOM-файлы в pyproject.toml — https://peps.python.org/pep-0770/

Сравнение Django и FastAPI — https://www.david-dahan.com/blog/comp...

предложение по добавлению выравнивания в PEP 8 — https://discuss.python.org/t/pep-8-mo... Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_pyt…

Спонсор подкаста: курсы по Python-разработке для тех, кто уже знаком с веб-разработкой — https://vk.cc/cADwoW Ведущие – Григорий Петров и Михаил Корнеев Обсудили в выпуске: Релиз Python 3.13 Top Python Libraries 2024 — https://tryolabs.com/blog/top-python-libraries-2024 Фичи для обеспечения безопасности PyPI (обязательный 2FA, trusted publishers) Релиз нового менеджера пакетов UV Завершение поддержки Python 3.8 Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python

Канал Moscow Python в Telegram — https://t.me/moscow_python

Все выпуски — https://podcast.python.ru

Митапы Moscow Python — https://moscowpython.ru

Предварительная запись на офлайн-курс Learn Python в Москве — https://forms.gle/wE7Lit97U9Q2q3oT9

Спонсор подкаста: курсы по Python-разработке для тех, кто уже знаком с веб-разработкой — https://vk.cc/cADwoW Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска Python сместил Javascript с первого места по используемости — https://github.blog/news-insights/octoverse/octoverse-2024/ PEP 750 – Template Strings — https://peps.python.org/pep-0750/ Эксперементальная поддержка partial validation в Pydantic 2.10 — https://pydantic.dev/articles/pydantic-v2-10-release#support-for-partial-validation-with-experimental_allow_partial PyPI теперь поддерживает цифровую сертификацию — https://blog.pypi…

Синтез речи давно вышел за рамки утилитарных задач и стал важной частью взаимодействия человека с технологией: от помощников до медиа и образовательных продуктов. В гости к нам пришел Сергей Дуканов, который разрабатывал голосовые ассистенты Маруси, Алисы и Олега, а сейчас – CTO в международном AI dubbing стартапе Dubformer. В этом выпуске мы прошлись по четырём поколениям TTS-систем: от простейшего склеивания фрагментов до нейросетевых моделей, способных передавать интонации и эмоции. Обсуждаем, зачем синтезированной речи характер, почему интонационные “ошибки” делают голос живым и что важно учитывать при встраивании TTS в продукты. Также ждем вас, ваши лайки, репосты и комменты в мессендж…

В этом выпуске обсуждаем, почему программирование для космоса – это не про фреймворки и кнопки, а про науку, физику и уникальные инженерные решения. Почему баги на орбите стоят миллионы, а код пишется так, как нигде больше. Зачем космическим программистам понимать дифференциальные уравнения, как перепрошивают космические аппараты, и почему здесь до сих пор всё ручное и междисциплинарное. Партнёр эпизода — IT-компания Selectel. 27 июля в Санкт-Петербурге ребята организуют IT-фестиваль против выгорания. Воркшопы, полезные доклады, IT-стендап и разные активности — от кастома вещей до рыбалки — ждут тебя на мероприятии. Участие бесплатное, регистрируйтесь. Количество мест ограничено. https://sl…

Когда-то для оценки AI мы использовали только тест Тьюринга – человек общался с собеседником через чат, а потом пытался определить, кожаным или кремниевым был его собеседник. Сегодня мы видим, что оценка качества работы LLM – гораздо более сложная задача. Вместе с Пашей Чижовым из PleIAs мы закопались в то, как вообще сегодня оценивается AI, и обсудили все виды бенчмарков, арен, метрик, их врожденные недостатки, а заодно и как быть, когда по капоту вашего КАМАЗа ползет черт. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт…

Пока одни скромно просят ChatGPT написать пару скриптов, другие уже вовсю интегрируют всё многообразие AI-моделей и инструментов во все сферы своей жизни, стремясь максимально оптимизировать процессы, минимизировать рутину и расширить границы возможного. Как? Разбираемся с Денисом Ширяевым, автором канала Denis Sexy IT. Денис использует AI практически для всего: от работы и хобби до здоровья и саморазвития, и в выпуски мы обсудили его опыт применения АI, текущие ограничения, различия между моделями и лучшие практики работы с ними. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в…

GPU – это не только запустить новый Doom на максималках, но и возможность решать вычислительные задачи в тысячи раз быстрее, чем на CPU. Как это работает и для каких задач – разбираемся в выпуске с Николаем Полярным! Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodcastPodlodka Ведущие в выпуске:

Женя Кателла, Катя Петрова Полезные ссылки: Telegram-канал

https://t.me/UnicornGlade Лекция про то как работает Nanite в Unreal Engine 5

https://www.youtube.com/watch?v=ltUzX1IR9JI Концентрат-лекция про вид…

PhD — путь к великим открытиям или очередной способ пострадать? Почему айтишники задумываются о науке и как понять, что пора задуматься и тебе? Обсуждаем, зачем идти в PhD и как в этом выжить: на что обратить внимание до поступления, чего ждать от процесса и легко ли потом вернуться в индустрию. Какие плюшки даёт академический бэкграунд — и стоят ли они того, если можно просто кодить? Разбираемся вместе с Ваней Ямщиковым. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodcastPodlodka Ведущие в выпуск…

Последнее время куда ни посмотришь – все уже начали использовать AI, код вовсю пишут агенты, количество успешных стартапов растет, а всех программистов скоро обещают разогнать. Из-за этого у многих появляется сильная тревога выражающаяся в FOMO – Fear of missing out – ощущении, что все что-то знают и делают, а только ты – нет. Чтобы разобраться, откуда берется это чувство, насколько ему стоит верить, и как с ним бороться, мы позвали Евгения Кота, менеджера с 20-летним стажем в IT и психологическим образованием за плечами. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook…

Если ИИ теперь пишет за нас – зачем этому учиться? Вместе с Галиной Юзефович разбираемся, почему навык письма всё ещё актуален, как он прокачивает мышление, и что именно делает текст хорошим. Спойлер: хороший текст – это не продукт вдохновения, а четкая структура и тщательная работа с идеями. Как читать, чтобы писать лучше? Какие вопросы задавать себе в процессе? Какие конструкции и фреймворки действительно работают? И с чего начать, если хочется научиться? Всё это – в новом выпуске!

Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitte…

С каждой неделей AI становится все умнее, и это влияет не только на то, как пишется код, но и на то, как работают целые команды. Андрей Володин – фаундер стартапа Gracia, рассказал про то, как AI агенты изменили его собственный подход к разработке, как поменялись роли в их команде, инженерные стандарты, технический стек, и как в итоге они ускорились во много раз, не жертвуя при этом качеством. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodcastPodlodka Ведущие в выпуске:

Катя Петрова, Егор Толстой…

Почему мозг так упрямо забывает важное, но помнит строчки из рекламы 2007 года? Что вообще такое память и можно ли натренировать её так, чтобы не забывать ни имён, ни паролей, ни зачем пришёл на кухню? Разбираемся, как устроено запоминание, почему эмоции и внимание — это топливо для памяти, и как мнемотехника превращает мозг в суперхранилище. Вспоминаем истории чемпионатов по запоминанию, смотрим, что говорит нейронаука, и обсуждаем, как связаны насмотренность, креатив и способность держать в голове абстрактные концепции. Байки, наука, техники — всё как мы любим! Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: htt…

Кто-то говорит, что нынешний бум AI – это просто хайп. А кто-то видит в нем смену парадигмы разработки. А что, если вместо написания кода разработчики будут описывать бизнес-логику и требования, а ИИ будет трансформировать все это в код? Как это могло бы работать – обсуждаем с Андреем Бреславом на примере его нынешнего проекта! Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodcastPodlodka Ведущие в выпуске:

Женя Кателла, Катя Петрова Полезные ссылки: Проект Андрея https://codespeak.dev

Нейроинтерфейсы — это всё ещё про научную фантастику или уже про реальность? Можно ли играть в WoW силой мысли? А киборги — они уже среди нас? Neuralink и Илон Маск — это хайповый маркетинг или реально будущее индустрии?

Чтобы разобраться, нужно сначала хотя бы немного понять, как работает мозг, а потом посмотреть, на что способны нейроинтерфейсы — инвазивные, неинвазивные и полуинвазивные. В чем их ограничения, в чём потенциал, и что уже умеет наука и индустрия.

Всё это (+ байки, куда же без них!) обсуждаем в выпуске вместе с нейроучёным и кандидатом психологических наук Ильёй Захаровым. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/po…

Продолжаем наше погружение в экосистему JVM и пополняем коллекцию языковых выпусков — на этот раз вместе с Барухом Садогурским обсуждаем Groovy!

Что делает Groovy по-настоящему groovy 🕺🏼 ? Какие фишки помогали ему претендовать на звание более веселой и дружелюбной альтернативы Java? В каких нишах язык в итоге закрепился — и почему это DSL? Правда ли, что если бы не Kotlin, всё могло бы сложиться совсем иначе? Детальный разбор языка, весёлые байки и щепоточка конспирологии — включайте новый выпуск! Ждем тебя 26-го мая на Java Podlodka Crew. Тема конференции "Java и производительность". По промокоду GROOVY будет приятная скидка. Не пропусти сезон! Забирай билет: https://podlodka.io/javacrew Т…

Обсуждаем самый знаменитый фреймворк из мира Java – Spring Framework. Что у него под капотом, почему он такой, какой он есть, и что ждет его в мире победивших LLM – разбираемся вместе с Евгением Борисовым! Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Женя Кателла, Катя Петрова Полезные ссылки: ТГ-канал гостя t.me/borisovtrainings

Илья Смоленский — нейробиолог, постдок унивеситета Базеля. Илья ведёт телеграм канал Молекулярная психиатрия и подкаст Эффект наблюдателя. Книги, которые нам посоветовал Илья: Felice Jacka. Brain Changer Georgia Ede. Change Your Diet, Change Your Mind Jonh Cryan, Ted Dinan. Psychobiotic Revolution Джулия Эндерс. Очаровательный кишечник. Как самый могущественный орган управляет нами Netflix - Hack Your Health. The Secrets of Your Gut Support the show ApplePodcasts: https://apple.co/2Psx8yd ...

Юрий Машенцев первый партнер сети кофеен «Дринкит» и создатель футбольного клуб для адаптивных детей «Юнити». Основная цель клуба — дать возможность детям с синдромом Дауна через спорт проживать яркие эмоции — азарт, злость, радость от побед. Канал клуба в Юнити в телеграм: t.me/legionchance. Канал Юрия: t.me/billoncoffee. Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Антон Маскелиаде музыкант, основатель школы, автор книги "Твой первый трек" и карточек для музыканов "Твой второй трек". Школа https://maskeliade.school/ Книга https://maskeliade.school/book Карточки https://maskeliade.school/cards Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Борис Тарасов занимается промышленным дизайном в avride. Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

https://www.goodreads.com/book/show/41795733-range Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Анна Ривина эксперт по теме домашнего насилия и гендерной дискриминации, основательница Центра «Насилию.нет», Rivina Foundation и проекта Labirint. Поддержать русскоязычных женщин в эмиграции, которые оказались в ситуации насилия, можно здесь: https://rivina.foundation/supporteng/ Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Пытаемся перезапустить сезон и пробуем новый формат: обзор книги. https://www.goodreads.com/book/show/17288660-amsterdam Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

Александр Мерзликин — основатель стартапа Sleeptery, который предлагает игровой подход для улучшения сна.Support the showApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

Надежда Бей — VR-художница и резидент фиджитал галереи Охра.Канал Нади: https://t.me/irrealartКанал Охры: https://t.me/phygitalgalleryПолезные книги:Ната Покровская и Антон Уткин: Белое зеркало. Учебник по интерактивному сторителлингу в кино, VR и иммерсивном театре.Cyane Tornatzky, Brendan Kelley "An Artistic Approach to Virtual Reality"Curtis Hickman "Hyper-reality: The art of designing impossible experiences"Кристиана Пол "Цифровое искусство"Support the showApplePodcasts: https://apple.co/...

Никита Калинин — Associate Professor в Технионе в Гуанджоу и автор канала Tropical Saint-Petersburg. Мы поговорили с ним про Петебругскую математику и математиков.Support the showApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

Елена Доброхотова — сооснователь стартапа Not Yet. Мы поговорили с ней о рынке медицинских носимых устройств, о здоровье и старении.Support the showApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

Игорь Кузьмичёв исследует "вторую культуру" Ленинграда и ведёт телеграм-канал "Здесь был Майк" Telegram: t.me/mikewashereSupport the showApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

Геннадий Асиньяров — кандидат биологических наук, участник проекта БИОС-3 в рамках которого исследовались возможности замкнутых систем жизнеобеспечения. Такие системы гипотетически могли бы использоваться для колонизации Марса.Геннадий Захарович также один из создателей методики НООГЕН. Книга: https://shorturl.at/vC2vwSupport the showApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

Сергей Нурк руководит командой разработки биоинформатических инструментов в Oxford Nanopore technologies.Support the showApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

Topics include Open Source Security work isn't “Special”, uv v0.8, , and Announcing Toad - a universal UI for agentic coding in the terminal.

Topics include Turso Litestream, PEP 792 – Project status markers in the simple index, Run coverage on tests, and docker2exe.

Topics include Switching to direnv, Starship, and uv, rqlite - Distributed SQLite DB, and.

Topics include ty documentation site and uv migration guide, uv build backend is now stable, Refactoring long boolean expressions, and fastapi-ml-skeleton.

Topics include Python Cheat Sheets from Trey Hunner, Automatisch, mureq-typed, and My CLI World.

Topics include The Python Language Summit 2025, Fixing Python Properties, complexipy, and juvio.

Topics include , typed-ffmpeg, pyleak, and Optimizing Test Execution: Running live_server Tests Last with pytest.

Topics include platformdirs, poethepoet, Python Pandas Ditches NumPy for Speedier PyArrow, and pointblank: Data validation made beautiful and powerful.

Topics include Making PyPI’s test suite 81% faster, People aren’t talking enough about how most of OpenAI’s tech stack runs on Python, PyCon Talks on YouTube, and Optimizing Python Import Performance.

Topics include git-flight-rules, Uravelling t-strings, neohtop, and Introducing Pyrefly: A new type checker and IDE experience for Python.

Topics include pre-commit: install with uv, PEP 773, Changes for Textual, and The Best Programmers I Know.

Topics include pirel: Python release cycle in your terminal, FastAPI Cloud, and Python's new t-strings.

Topics include pip 25.1 has dependency groups, pylock.toml, plus more, aiohttp goes free threaded, uv 0.6.15 supports pylock.toml, and Whenever.

Topics include Huly, CVE Foundation, drawdb, and 14 Advanced Python Features.

SED News is a monthly podcast from Software Engineering Daily where hosts Gregor Vand and Sean Falconer unpack the biggest stories shaping software engineering, Silicon Valley, and the broader tech industry. In this episode, they explore Meta’s bold push into AI with the launch of Meta Superintelligence Labs, the dramatic twists in the Windsurf acquisition

The post SED News: Meta’s AI Gambit, Windsurf Shake‑Up, and the UK VPN Surge appeared first on Software Engineering Daily.

Electron is a framework for building cross-platform desktop applications using web technologies like JavaScript, HTML, and CSS. It allows developers to package web apps with a native-like experience by bundling them with a Chromium browser and Node.js runtime. Electron is widely used for apps like VS Code, Discord, and Slack because it enables a single

The post Electron and Desktop App Engineering with Shelley Vohr appeared first on Software Engineering Daily.

Modal is a serverless compute platform that’s specifically focused on AI workloads. The company’s goal is to enable AI teams to quickly spin up GPU-enabled containers, and rapidly iterate and autoscale. It was founded by Erik Bernhardsson who was previously at Spotify for 7 years where he built the music recommendation system and the popular

The post Modal and Scaling AI Inference with Erik Bernhardsson appeared first on Software Engineering Daily.

RxJS is an open-source library for composing asynchronous and event-based programs. It provides powerful operators for transforming, filtering, combining, and managing streams of data, from user input and web requests to real-time updates. Ben Lesh is the creator of RxJS. He joins Josh Goldberg to talk about his path into engineering and the RxJS library.

The post RxJS with Ben Lesh appeared first on Software Engineering Daily.

JigsawStack is a startup that develops a suite of custom small models for tasks such as scraping, forecasting, vOCR, and translation. The platform is designed to support collaborative knowledge work, especially in research-heavy or strategy-driven environments. Yoeven Khemlani is the Founder of JigsawStack and he joins the podcast with Gregor Vand to talk about making

The post Small AI Models with Yoeven Khemlani appeared first on Software Engineering Daily.

Railway is a software company that provides a popular platform for deploying and managing applications in the cloud. It automates tasks such as infrastructure provisioning, scaling, and deployment and is particularly known for having a developer-friendly interface. Jake Cooper is the Founder and CEO at Railway. He joins the show to talk about the company

The post Streamlining Cloud Infrastructure Deployments with Jake Cooper appeared first on Software Engineering Daily.

Illia Polosukhin is a veteran AI researcher and one of the original authors of the landmark Transformer paper, Attention is All You Need, which he co-authored during his time at Google Research. He has a deep background in machine learning and natural language processing, and has spent over a decade working at the intersection of

The post Building Open Infrastructure for AI with Illia Polosukhin appeared first on Software Engineering Daily.

TypeScript is a statically typed superset of JavaScript that adds optional type annotations and modern language features to improve developer productivity and code safety. The TypeScript compiler performs type checking at compile time, catching errors before code is run, and also transforms TypeScript code into clean, standards-compliant JavaScript. Jake Bailey is Senior Software Engineer at

The post TypeScript with Jake Bailey appeared first on Software Engineering Daily.

Wiz is a cloud security platform that helps organizations identify and remediate risks across their cloud environments. The company’s platform scans layers of the cloud stack, including virtual machines, containers, and serverless configurations, to detect vulnerabilities and misconfigurations in context. The Model Context Protocol, or MCP, is emerging as a potential standard for connecting LLM

The post MCP Security at Wiz with Rami McCarthy appeared first on Software Engineering Daily.

Welcome back to SED News, a podcast series from Software Engineering Daily where hosts Gregor Vand and Sean Falconer break down the latest stories in software engineering, Silicon Valley, and the wider tech industry. In this episode, Gregor and Sean dig into Meta’s legal battle over AI training data, discuss the strategic implications of Meta’s

The post SED News: Data Land Grabs, Copyright Fights, and the Great AI Talent War appeared first on Software Engineering Daily.

Anaconda is a software company that’s well-known for its solutions for managing packages, environments, and security in large-scale data workflows. The company has played a major role in making Python-based data science more accessible, efficient, and scalable. Anaconda has also invested heavily in AI tool development. Greg Jennings is the VP of Engineering and AI

The post AI at Anaconda with Greg Jennings appeared first on Software Engineering Daily.

ByteDance is a global technology company operating a wide range of content platforms around the world, and is best known for creating TikTok. The company operates at a massive scale, which naturally presents challenges in ensuring performance and stability across its data centers. It has over a million servers running containerized applications, and this required

The post ByteDance’s Container Networking Stack with Chen Tang appeared first on Software Engineering Daily.

WayForward is a renowned video game studio that was founded in 1990. The company has developed games for publishers such as Capcom, Konami, and Nintendo and has released their games across major hardware platforms from the last 35 years. They are also the creators of the Shantae series of 2D platformers. WayForward recently developed the

The post WayForward Games with Tomm Hulett and Voldi Way appeared first on Software Engineering Daily.

One of the most immediate and high-impact applications of LLMs has been in software development. The models can significantly accelerate code writing, but with that increased velocity comes a greater need for thoughtful, scalable approaches to codereview. Integrating AI into the development workflow requires rethinking how to ensure quality,security, and maintainability at scale. CodeRabbit is

The post CodeRabbit and RAG for Code Review with Harjot Gill appeared first on Software Engineering Daily.

Emulating retro games on modern consoles is a growing trend, and allows players to experience classic titles with improved performance, enhanced resolution, and added features like save states and rewinding. However, this process raises many challenging technical questions related to hardware compatibility, performance optimization, rendering, and state management. Implicit Conversions is a company focused on

The post Emulating Retro Games on Modern Consoles with Robin Lavallée and Bill Litshauer appeared first on Software Engineering Daily.

-=Выпуск 79=- Прошло полгода с прошлого выпуска, и я все же вспомнил про “Трёп” и решил записать сольный выпуск; он, по сути, основан на разных лекциях, которые приходилось читать последние месяцы, на самых мне интересных темах в моем канальчике Techsparks, просто на разговорах с умными людьми. Тут и рынок труда, и образование, и роботы — все как я люблю:)

-=Выпуск 78=- 22 декабря — самое время для публикации первого выпуска года:) Но так уж сложилось. Зато выпуск рекордный не только по задержке, но и по длительности: почти 2 часа. И каких! Большую часть этого времени говорил Ваня, мы встретились в подкасте через полтора года после прошлого разговора, где он много провидческих (как мы смогли убедиться) слов произнес про ИИ, про любимые им горячо языковые модели и про будущее. Мы не стали менять сюжет :)) Ссылка по теме —

You struggle to provide this justification because of a general deficit of impact intelligence within the organization.

Impact Intelligence Impact Intelligence is the constant awareness of the business impact of initiatives: tech initiatives, R&D initiatives, transformation initiatives, or business initiatives.

Any of the segments of this cycle might be weak but the first (idea selection) and the last (impact measurement & iteration) are particularly relevant for impact intelligence.

They contribute more to impact than to impact intelligence.

Figure 6 highlights the two leverage points for impact intelligence: idea selection and impact measurement.

To learn more about where we are today, and what would have to be solved on a path from today to a future like that, we ran some experiments to see how far we could push the autonomy of Generative AI code generation with a simple application, today.

However, it was an interesting test case to explore our main question: How might we push autonomy and repeatability of AI code generation?

The only one we were aware of at the time that can do that is Roo Code, and its fork Kilo Code.

This gave us a facsimile of a multi-agent coding setup without having to build something from scratch.

Even though technically the context window sizes of LLMs are increasing, LLM generation results still become mo…

OK, that’s only part of the story: to be honest, I’m lazy, and the first thing I do is ask AI for help.

You may refer to @doc.go for information about the tables involvedGiving the AI access to mysql enables it to explore the schema and try queries.

Takeaway: ask the AI to explain the code.

orgChartTreeInsert := "insert into ..." testdb.MustExec(t, conn, orgChartTreeInsert, 1, "path", 200, 300) testdb.MustExec(t, conn, orgChartTreeInsert, 2, "path", 201, 301) testdb.MustExec(t, conn, orgChartTreeInsert, 3, "path", 202, 302) testdb.MustExec(t, conn, orgChartTreeInsert, 4, "path", 203, 303) testdb.MustExec(t, conn, orgChartTreeInsert, 5, "path", 204, 304) testdb.MustExec(t, conn, orgChart…

It's become a common habit for developers to give Large Language Models (LLMs) a persona when working with them.

The first time I ran into this was my colleague Birgitta characterizing her LLM as a stubborn donkey (called “Dusty”).

It's almost as if the LLM is using the same addictive algorithms designed by casinos to keep folks playing the slots.

‘Oh, thank you, Master Copperfield,’ said Uriah Heep, ‘for that remark!

Oh, thank you, Master Copperfield!’But he is full of malice: manipulating, and essentially controlling those people he “serves”.

Martin Fowler: 21 Jul 2025Korny Sietsma has a great example of how using an LLM for coding is very helpful but with limitations…and a thoughtful general essay on why the hype and the immovable skeptics are both missing the train.

While here, a professor of poetry ponders (gift link) on the value and limits of AI with writing:

Martin Fowler: 10 Jul 2025Three articles I enjoyed yesterday:Stephen O’Grady talks about how Gen AI tools break two common constants with developer tools: they are willing to flit between Gen AI tools and they are willing to pay for them.

This implies that it’s not too late for new tools to appear, and that enterprise adoption will be slowed by a lack of consensus on which direction to go.

Pete Hodgson continues his excellent writing on Gen AI by proposing an approach to leading engineers towards an AI-assisted future, centered around a the concept of aligned autonomy.

He advocates an explicit experimentation phase, followed by supporting adoption and measuring their impact.

I really re…

I personally think we very much should still care about the code.

You care more about resilience and bug-free code, because you don’t want to be called late in the night, or on the weekend.

For me personally, the minimum I want to still care about and be on top of is the test code.

Is the domain I’m working on critical to the business, or internal and supplementary?

So especially in cases with high impact and low detectability, I absolutely still care about the code.

The Characteristics of an Expert Generalist When we've observed Expert Generalists, there are certain attributes that stand out.

Curiosity Expert generalists are full of curiosity Expert Generalists display a lot of curiosity.

Assessing Expert Generalists We have two crucial checkpoints for spotting —and then nurturing —expert generalists: the hiring interview and ongoing career progression.

The relationship between Expert Generalists and LLMs is often similar to that between Expert Generalists and specialists in a team.

Why Organizations Need Expert Generalists The simplest reason why organizations should pay more attention to Expert Generalists is the loss of opportunities to staff teams.

The Characteristics of an Expert Generalist When we've observed Expert Generalists, there are certain attributes that stand out.

Curiosity Expert generalists are full of curiosity Expert Generalists display a lot of curiosity.

Assessing Expert Generalists We have two crucial checkpoints for spotting —and then nurturing —expert generalists: the hiring interview and ongoing career progression.

Expert Generalists still need Specialists While we've spent this article praising the Expert Generalist, we simultaneously do not deny the value of specialist knowledge.

The relationship between Expert Generalists and LLMs is often similar to that between Expert Generalists and specialists in a team.

(But beware, we find many Expert Generalists, including at least one author of this article, cringe at the word “expert”.)

The Characteristics of an Expert Generalist When we've observed Expert Generalists, there are certain attributes that stand out.

Curiosity Expert generalists are full of curiosity Expert Generalists display a lot of curiosity.

When joining a new team, expert generalists tend to listen to the established ways that a team works, introducing different approaches thoughtfully.

Assessing Expert Generalists We have two crucial checkpoints for spotting —and then nurturing —expert generalists: the hiring interview and ongoing career progression.

I think the appearance of LLMs will change software development to a similar degree as the change from assembler to the first high-level programming languages.

The further development of languages and frameworks increased our abstraction level and productivity, but didn’t have that kind of impact on the nature of programming.

LLMs are making that degree of impact, but with the distinction that it isn’t just raising the level of abstraction, but also forcing us to consider what it means to program with non-deterministic tools.

LLMs introduce a non-deterministic abstraction, so I can’t just store my prompts in git and know that I’ll get the same behavior each time.

As we learn to use …

I think the appearance of LLMs will change software development to a similar degree as the change from assembler to the first high-level programming languages.

The further development of languages and frameworks increased our abstraction level and productivity, but didn't have that kind of impact on the nature of programming.

LLMs introduce a non-deterministic abstraction, so I can't just store my prompts in git and know that I'll get the same behavior each time.

As my colleague Birgitta put it, we're not just moving up the abstraction levels, we're moving sideways into non-determinism at the same time.

illustration: Birgitta BöckelerAs we learn to use LLMs in our work, we have to get figu…

We've long noticed that not just anyone succeeds as an Expert Generalist, but once we understand the traits that are key for such Expert Generalists, organizations can shape learning programs, hiring filters, and career paths that deliberately develop them.

(But beware, we find many Expert Generalists, including at least one author of this article, cringe at the word “expert”.)

The Characteristics of an Expert Generalist When we've observed Expert Generalists, there are certain attributes that stand out.

Curiosity Expert generalists are full of curiosity Expert Generalists display a lot of curiosity.

Assessing Expert Generalists We have two crucial checkpoints for spotting —and then nur…

Вам не нужен testify/assertМногие Go-разработчики предпочитают ассерты (asserts, проверки в тестах) без if, чтобы тесты были короче и понятнее.

Nil ( t , age ) }Но я не думаю, что для хороших тестов действительно нужен testify/assert с его 40 разными ассертами.

func isNil ( v any ) bool { if v == nil { return true } // Интерфейс может быть не nil, но содержать nil, // поэтому проверяем внутреннее значение.

Стандартное сообщение подскажет, что не так, а номер строки укажет, где искать проблему.

TB , got error , want error ) { tb .

Выпуск Go 1.25 запланирован на август, так что сейчас самое время изучить, что нового.

Не делайте так в продакшене ツПоехали!

Мы могли бы сделать таймаут параметром функции (наверное, так и стоило бы), но допустим, что это не вариант.

Внутри пузыря функции пакета time используют искусственные часы, что позволяет тесту пройти мгновенно:Начальное время в пузыре — полночь 2000-01-01 UTC.

Она ждет, пока все горутины в пузыре заблокируются, а затем продолжает выполнение:

Cравнивать строки на похожесть и транслитерировать текст.

Прощай, зерокод.

Вернулся в 2007.

Здесь денег нет.

Криптографически случайная строка.

Функция с приколоченным к ней получателeм.

omitzero на замену omitempty.

Больше криптографии.

Больше итераторов в Go 1.24Как известно, в 1.23 авторы Go воспылали необъяснимой стратью к итератором, и этот пожар с тех пор только разгорается жарче.

Lines ( s ) { fmt .

SplitSeq ( s , "-" ) { fmt .

FieldsSeq ( s ) { fmt .

IsNumber ( c ) } s := "one,two;six..." for part := range strings .

Контекст для тестовДопустим, мы хотим протестировать этот жутко полезный сервер:// Дает ответы на все вопросы.

func startServer ( ctx context .

T ) { srv := startServer ( context .

) != 42 { t . Fatal ( "unexpected value" ) } }Тест проходит, но есть проблемка: я использовал пустой контекст, так что на самом деле сервер не остановился.

Background ()) defer cancel () srv := startServer ( ctx ) if srv .

И сжечь все ноутбуки.

Через io.Discard.

Эмодзи-пак с текстовыми реакциями для телеграма.