How Airbnb is adapting ranking for our map interface.Malay Haldar, Hongwei Zhang, Kedar Bellare Sherry ChenSearch is the core mechanism that connects guests with Hosts at Airbnb. Results from a guest’s search for listings are displayed through two interfaces: (1) as a list of rectangular cards that contain the listing image, price, rating, and other details on it, referred to as list-results and (2) as oval pins on a map showing the listing price, called map-results. Since its inception, the core of the ranking algorithm that powered both these interfaces was the same — ordering listings by their booking probabilities and selecting the top listings for display.But some of the basic assumpti…

Airbnb had a large presence at the 2024 KDD conference hosted in Barcelona, Spain. Our Data Scientist and Engineers presented on topics like Deep Learning & Search Ranking, Online Experimentation & Measurement, Product Quality & Customer Journey, and Two-sided Marketplaces. This blog post summarizes our contributions to KDD for 2024 and provides access to the academic papers presented during the conference.Authors: Huiji Gao, Peter Coles, Carolina Barcenas, Sanjeev KatariyaKDD (Knowledge and Data Mining) is one of the most prestigious global conferences in data mining and machine learning. Hosted annually by a special interest group of the Association for Computing Machinery (ACM), it’s whe…

Vijaya Kaza is the Chief Security Officer and Head of Engineering for Trust and Safety at Airbnb. She leads teams responsible for developing the technology (Platforms, tools and AI models), to safeguard the Airbnb community, as well as for securing Airbnb’s infrastructure and information assets. She is also the executive co-sponsor of Airbnb Tech’s Diversity Council.Here’s Vijaya’s story of how she got to Airbnb, in her own words.Straight shot to science and engineeringI grew up in a modest, multi-generational family in India with 30 to 40 family members under one roof on any given day. As the oldest child in that house, I was expected to excel academically and set an example for the other …

How Airbnb uses data-driven segmentation to understand supply availability patterns.By: Alexandre Salama, Tim AbrahamIntroductionAt Airbnb, our supply comes from hosts who decide to list their spaces on our platform. Unlike traditional hotels, these spaces are not all interchangeable units in a building that are available to book year-round. Our hosts are people, with different earnings objectives and schedule constraints — leading to different levels of availability to host. Understanding these differences is a key input into how we develop our products, campaigns, and operations.Over the years, we’ve created various ways to measure host availability, developing “features” that capture dif…

How Airbnb built a stream processing platform to power user personalization.By: Kidai Kwon, Pavan Tambay, Xinrui Hua, Soumyadip (Soumo) Banerjee, Phanindra (Phani) GantiOverviewUnderstanding user actions is critical for delivering a more personalized product experience. In this blog, we will explore how Airbnb developed a large-scale, near real-time stream processing platform for capturing and understanding user actions, which enables multiple teams to easily leverage real-time user activities. Additionally, we will discuss the challenges encountered and valuable insights gained from operating a large-scale stream processing platform.BackgroundAirbnb connects millions of guests with unique …

Boosting computer vision accuracy and performance at AirbnbBy: Pei Xiong, Aaron Yin, Jian Zhang, Lifan Yang, Lu Zhang, Dean ChenIntroductionIn recent years, the integration of artificial intelligence with travel platforms has transformed how people search for and book accommodations. As a leading global marketplace for unique travel experiences and accommodations, Airbnb constantly strives to enhance the guest experience by providing informative content about the variety of homes shared by our hosts. One of the ways we help guests better understand what a listing offers before they book is through our AI-powered photo tour feature.The AI-powered photo tour in the Listings tab, which helps h…

How and Why We Migrated Airbnb’s Large-Scale Web Monorepo to BazelBy: Brie Bunge and Sharmila JesupaulIntroductionAt Airbnb, we’ve recently adopted Bazel — Google’s open source build tool–as our universal build system across backend, web, and iOS platforms. This post will cover our experience adopting Bazel for Airbnb’s large-scale (over 11 million lines of code) web monorepo. We’ll share how we prepared the code base, the principles that guided the migration, and the process of migrating selected CI jobs. Our goal is to share information that would have been valuable to us when we embarked on this journey and to contribute to the growing discussion around Bazel for web development.Why did …

How Airbnb leverages machine learning and reinforcement learning techniques to solve a unique information retrieval task in order to provide guests with unique, affordable, and differentiated accommodations around the world.By: Dillon Davis, Huiji Gao, Thomas Legrand, Weiwei Guo, Malay Haldar, Alex Deng, Han Zhao, Liwei He, Sanjeev KatariyaIntroductionAirbnb has transformed the way people travel around the globe. As Airbnb’s inventory spans diverse locations and property types, providing guests with relevant options in their search results has become increasingly complex. In this blog post, we’ll discuss shifting from using simple heuristics to advanced machine learning and reinforcement le…

How Airbnb’s conversational AI platform powers LLM application development.By Chutian Wang, Zhiheng Xu, Paul Lou, Ziyi Wang, Jiayu Lou, Liuming Zhang, Jingwen Qiang, Clint Kelly, Lei Shi, Dan Zhao, Xu Hu, Jianqi Liao, Zecheng Xu, Tong ChenIntroductionArtificial intelligence and large language models (LLMs) are a rapidly evolving sector at the forefront of technological innovation. AI’s capacity for logical reasoning and task completion is changing the way we interact with technology.In this blog post, we will showcase how we advanced Automation Platform, Airbnb’s conversational AI platform, from version 1, which supported conversational systems driven by static workflows, to version 2, whic…

Airbnb made it easy to bring data/AI ideas to life through a platform for prototyping web applications.By: Dan MillerWarm, friendly beach capturing the playful nature of prototyping.IntroductionTrustworthy data has always been a part of Airbnb’s technical DNA. However, it is challenging for our data scientists and ML practitioners to bring data- and AI-powered product ideas to life in a way that resonates with our design-focused leadership. Slide decks with screenshots, design documents with plots, and even Figmas are insufficient to capture ideas that need to be experienced in order to be understood. This was especially true as large language models (LLMs) took the world by storm, since th…

Riverbed Data Hydration — Part 1A deep dive into the streaming aspect of the Lambda architecture framework that optimizes how data is consumed from system-of-record data stores and updates secondary read-optimized stores at Airbnb.OverviewIn our previous blog post we introduced the motivation and high-level architecture of Riverbed. As a recap, Riverbed is a part of Airbnb’s tech stack designed to streamline and optimize how data is consumed from system-of-record data stores and update secondary read-optimized stores. The framework is built around the concept of ‘materialized views’ — denormalized representations of data that can be queried in a predictable, efficient manner. The primary go…

By: Leo Wong, Henry JohnsonHow the Airbnb Media team built group travel Postcards for the 2024 Summer Release by leveraging a novel destination matching algorithm while advancing the platform’s image & localized text processing capabilities.Airbnb Postcards (see announcement).IntroductionFor Airbnb’s 2024 Summer Release, the Media Ingestion team at Airbnb took on the exciting challenge of creating a reliable postcard generation system to generate unique, hand-crafted Postcards. Postcards are a beautiful way to invite guests on a trip while keeping friends and family in the loop (see announcement). This feature required a novel solution to match relevant postcards to every possible destinati…

An Important Foundation For Security, Privacy, and Compliance at AirbnbBy: Sam Kim, Alex Klimov, Woody Zhou, Sylvia Tomiyama, Aniket Arondekar, Ansuman AcharyaIntroductionAirbnb is built on trust. One key way we maintain trust with our community is by ensuring that personal data is handled with care, in a manner that meets security, privacy, and compliance requirements. Understanding where and what personal data exists is foundational to this.Over the past several years, we’ve built our own data classification system that adapts to the needs of our data ecosystem, to streamline our processes, and further unlock our ability to protect the data entrusted to Airbnb. This was made possible by m…

Airbnb’s Use of A New Flink platform evolved from Apache Hadoop® YarnIntroductionAt Airbnb, Apache Flink was introduced in 2018 as a supplementary solution for stream processing. It ran alongside Apache Spark™ Streaming for several years before transitioning to become the primary stream processing platform. In this blog post, we will delve into the evolution of Flink architecture at Airbnb and compare our prior Hadoop Yarn platform with the current Kubernetes-based architecture. Additionally, we will discuss the efforts undertaken throughout the migration process and explore the challenges that arose during this journey. In the end we will summarize the impact, learnings along the way and f…

Incrementally modernizing our frontend infrastructure to roll out the latest React features without downgradesIntroductionAirbnb’s frontend recently reached a major milestone: all of our web surfaces have been upgraded from React 16 to React 18, the current major version of React¹. This was a big project for a product with many surfaces, including Guest and Host pages as well as many internal tools. To safely perform this upgrade, we created the React Upgrade System: reusable infrastructure that allows us to roll out new versions of React progressively across our monorepo and measure the results of the upgrade. In this blog post, we’ll discuss our upgrade philosophy, the system we created, …

Part 2: Navigating AmbiguityBy: Varun KhaitanWith special thanks to my stunning colleagues: Mallika Rao, Esmir Mesic, Hugo MarquesBuilding on the foundation laid in Part 1, where we explored the “what” behind the challenges of title launch observability at Netflix, this post shifts focus to the “how.” How do we ensure every title launches seamlessly and remains discoverable by the right audience?In the dynamic world of technology, it’s tempting to leap into problem-solving mode. But the key to lasting success lies in taking a step back — understanding the broader context before diving into solutions. This thoughtful approach doesn’t just address immediate hurdles; it builds the resilience a…

This article is the last in a multi-part series sharing a breadth of Analytics Engineering work at Netflix, recently presented as part of our annual internal Analytics Engineering conference. Need to catch up? Check out Part 1, which detailed how we’re empowering Netflix to efficiently produce and effectively deliver high quality, actionable analytic insights across the company and Part 2, which stepped through a few exciting business applications for Analytics Engineering. This post will go into aspects of technical craft.Dashboard Design TipsRina Chang, Susie LuWhat is design, and why does it matter? Often people think design is about how things look, but design is actually about how thin…

This article is the second in a multi-part series sharing a breadth of Analytics Engineering work at Netflix, recently presented as part of our annual internal Analytics Engineering conference. Need to catch up? Check out Part 1. In this article, we highlight a few exciting analytic business applications, and in our final article we’ll go into aspects of the technical craft.Game AnalyticsYimeng Tang, Claire Willeck, Sagar PalaoUser Acquisition Incrementality for Netflix GamesNetflix has been launching games for the past three years, during which it has initiated various marketing efforts, including User Acquisition (UA) campaigns, to promote these games across different countries. These UA …

David J. Berg*, David Casler^, Romain Cledat*, Qian Huang*, Rui Lin*, Nissan Pow*, Nurcan Sonmez*, Shashank Srikanth*, Chaoying Wang*, Regina Wang*, Darin Yu**: Model Development Team, Machine Learning Platform^: Content Demand Modeling TeamA month ago at QConSF, we showcased how Netflix utilizes Metaflow to power a diverse set of ML and AI use cases, managing thousands of unique Metaflow flows. This followed a previous blog on the same topic. Many of these projects are under constant development by dedicated teams with their own business goals and development best practices, such as the system that supports our content decision makers, or the system that ranks which language subtitles are …

This article is the first in a multi-part series sharing a breadth of Analytics Engineering work at Netflix, recently presented as part of our annual internal Analytics Engineering conference. We kick off with a few topics focused on how we’re empowering Netflix to efficiently produce and effectively deliver high quality, actionable analytic insights across the company. Subsequent posts will detail examples of exciting analytic engineering domain applications and aspects of the technical craft.At Netflix, we seek to entertain the world by ensuring our members find the shows and movies that will thrill them. Analytics at Netflix powers everything from understanding what content will excite a…

By J Han, Pallavi PhadnisContextAt Netflix, we use Amazon Web Services (AWS) for our cloud infrastructure needs, such as compute, storage, and networking to build and run the streaming platform that we love. Our ecosystem enables engineering teams to run applications and services at scale, utilizing a mix of open-source and proprietary solutions. In turn, our self-serve platforms allow teams to create and deploy, sometimes custom, workloads more efficiently. This diverse technological landscape generates extensive and rich data from various infrastructure entities, from which, data engineers and analysts collaborate to provide actionable insights to the engineering organization in a continu…

Part 1: Understanding The ChallengesBy: Varun KhaitanWith special thanks to my stunning colleagues: Mallika Rao, Esmir Mesic, Hugo MarquesIntroductionAt Netflix, we manage over a thousand global content launches each month, backed by billions of dollars in annual investment. Ensuring the success and discoverability of each title across our platform is a top priority, as we aim to connect every story with the right audience to delight our members. To achieve this, we are committed to building robust systems that deliver comprehensive observability, enabling us to take full accountability for every title on our service.The Challenge of Title Launch ObservabilityAs engineers, we’re wired to tr…

By: Rajiv Shringi, Oleksii Tkachuk, Kartik SathyanarayananIntroductionIn our previous blog post, we introduced Netflix’s TimeSeries Abstraction, a distributed service designed to store and query large volumes of temporal event data with low millisecond latencies. Today, we’re excited to present the Distributed Counter Abstraction. This counting service, built on top of the TimeSeries Abstraction, enables distributed counting at scale while maintaining similar low latency performance. As with all our abstractions, we use our Data Gateway Control Plane to shard, configure, and deploy this service globally.Distributed counting is a challenging problem in computer science. In this blog post, we…

By: Hechao Li and Marcelo MaywormWith special thanks to our stunning colleagues Amer Ather, Itay Dafna, Luca Pozzi, Matheus Leão, and Ye Ji.OverviewAt Netflix, the Analytics and Developer Experience organization, part of the Data Platform, offers a product called Workbench. Workbench is a remote development workspace based on Titus that allows data practitioners to work with big data and machine learning use cases at scale. A common use case for Workbench is running JupyterLab Notebooks.Recently, several users reported that their JupyterLab UI becomes slow and unresponsive when running certain notebooks. This document details the intriguing process of debugging this issue, all the way from …

Rajiv Shringi Vinay Chella Kaidan Fullerton Oleksii Tkachuk Joey LynchIntroductionAs Netflix continues to expand and diversify into various sectors like Video on Demand and Gaming, the ability to ingest and store vast amounts of temporal data — often reaching petabytes — with millisecond access latency has become increasingly vital. In previous blog posts, we introduced the Key-Value Data Abstraction Layer and the Data Gateway Platform, both of which are integral to Netflix’s data architecture. The Key-Value Abstraction offers a flexible, scalable solution for storing and accessing structured key-value data, while the Data Gateway Platform provides essential infrastructure for protecting, c…

Vidhya Arvind, Rajasekhar Ummadisetty, Joey Lynch, Vinay ChellaIntroductionAt Netflix our ability to deliver seamless, high-quality, streaming experiences to millions of users hinges on robust, global backend infrastructure. Central to this infrastructure is our use of multiple online distributed databases such as Apache Cassandra, a NoSQL database known for its high availability and scalability. Cassandra serves as the backbone for a diverse array of use cases within Netflix, ranging from user sign-ups and storing viewing histories to supporting real-time analytics and live streaming.Over time as new key-value databases were introduced and service owners launched new use cases, we encounte…

By Karthik Yagna, Baskar Odayarkoil, and Alex EllisPushy is Netflix’s WebSocket server that maintains persistent WebSocket connections with devices running the Netflix application. This allows data to be sent to the device from backend services on demand, without the need for continually polling requests from the device. Over the last few years, Pushy has seen tremendous growth, evolving from its role as a best-effort message delivery service to be an integral part of the Netflix ecosystem. This post describes how we’ve grown and scaled Pushy to meet its new and future needs, as it handles hundreds of millions of concurrent WebSocket connections, delivers hundreds of thousands of messages p…

By Jose Fernandez, Sebastien Dabdoub, Jason Kock, Artem TkachukThe Compute and Performance Engineering teams at Netflix regularly investigate performance issues in our multi-tenant environment. The first step is determining whether the problem originates from the application or the underlying infrastructure. One issue that often complicates this process is the "noisy neighbor" problem. On Titus, our multi-tenant compute platform, a "noisy neighbor" refers to a container or system service that heavily utilizes the server's resources, causing performance degradation in adjacent containers. We usually focus on CPU utilization because it is our workload's most frequent source of noisy neighbor …

By Jiangwei Pan, Gary Tang, Henry Wang, and Justin BasilicoIntroductionOur mission at Netflix is to entertain the world. Our personalization algorithms play a crucial role in delivering on this mission for all members by recommending the right shows, movies, and games at the right time. This goal extends beyond immediate engagement; we aim to create an experience that brings lasting enjoyment to our members. Traditional recommender systems often optimize for short-term metrics like clicks or engagement, which may not fully capture long-term satisfaction. We strive to recommend content that not only engages members in the moment but also enhances their long-term satisfaction, which increases…

Charles Wu, Software Engineer | Isabel Tallam, Software Engineer | Franklin Shiao, Software Engineer | Kapil Bajaj, Engineering ManagerOverviewSuppose you just saw an interesting rise or drop in one of your key metrics. Why did that happen? It’s an easy question to ask, but much harder to answer.One of the key difficulties in finding root causes for metric movements is that these causes can come in all shapes and sizes. For example, if your metric dashboard shows users experiencing higher latency as they scroll through their home feed, then that could be caused by anything from an OS upgrade, a logging or data pipeline error, an unusually large increase in user traffic, a code change landed…

Zhibo Fan | Machine Learning Engineer, Homefeed Candidate Generation; Bowen Deng | Machine Learning Engineer, Homefeed Candidate Generation; Hedi Xia | Machine Learning Engineer, Homefeed Candidate Generation; Yuke Yan | Machine Learning Engineer, Homefeed Candidate Generation; Hongtao Lin | Machine Learning Engineer, ATG Applied Science; Haoyu Chen | Machine Learning Engineer, ATG Applied Science; Dafang He | Machine Learning Engineer, Homefeed Relevance; Jay Adams | Principal Engineer, Pinner Curation & Growth; Raymond Hsu | Engineering Manager, Homefeed CG Product Enablement; James Li | Engineering Manager, Homefeed Candidate Generation; Dylan Wang | Engineering Manager, Homefeed Relevan…

Bowen Deng | Machine Learning Engineer, Homefeed Candidate Generation; Zhibo Fan | Machine Learning Engineer, Homefeed Candidate Generation; Dafang He | Machine Learning Engineer, Homefeed Relevance; Ying Huang | Machine Learning Engineer, Curation; Raymond Hsu | Engineering Manager, Homefeed CG Product Enablement; James Li | Engineering Manager, Homefeed Candidate Generation; Dylan Wang | Director, Homefeed Relevance; Jay Adams | Principal Engineer, Pinner Curation & GrowthIntroductionAt Pinterest, our mission is to bring everyone the inspiration to create a life they love. Finding the right content online and serving the right audience plays a key role in this mission. Modern large-scale …

Angel Vargas | Software Engineer, API Platform; Swati Kumar | Software Engineer, API Platform; Chris Bunting | Engineering Manager, API PlatformThe inside of the Pinterest lobby in Mexico City, showing a patterned ceiling, a receptionist deck with a plant on it, a light above it, and a gallery of images of pins you’d find on Pinterest, behind it. To the left, a glowing Pinterest P sign hovers in front of a glass wall.NGAPI, the API platform for serving all first party client API requests, requires optimized system performance to ensure a high success rate of requests and allow for maximum efficiency to provide Pinners worldwide with engaging content. Recently, our team made a significant im…

Juan Benavides Nanni; SDET II |Pinterest conversions are critical for businesses looking to optimize their campaigns and track the performance of their advertisements. By leveraging Pinterest’s Conversion API and Conversion Tag, advertisers can gain deeper insights into user behavior and fine-tune their marketing efforts.To make this process seamless for developers, we’ve created two NPM packages: pinterest-conversions-server and pinterest-conversions-client. These packages simplify the integration of Pinterest’s Conversion API and Conversion Tag, offering robust solutions for server-side and client-side tracking.Why Use Pinterest Conversions?Pinterest conversions allow businesses to:Track …

How Pinterest Leverages Honeycomb to Enhance CI Observability and Improve CI Build StabilityOliver Koo | Staff Software EngineerOptimizing Mobile Builds and Continuous Integration Observability at Pinterest with HoneycombAt Pinterest, our mobile infrastructure is core to delivering a high-quality experience for our users. In this blog, I’ll showcase how the Pinterest Mobile Builds team is leveraging Honeycomb (starting in 2021) to enhance observability and performance in our mobile builds and continuous integration (CI) workflows.Building a Data-Driven Approach to ObservabilityOur mobile builds team relies on Honeycomb(™) as a robust data engine to visualize build metrics, analyze trends, a…

Liang Mou; Staff Software Engineer, Logging Platform | Elizabeth (Vi) Nguyen; Software Engineer I, Logging Platform |In today’s data-driven world, businesses need to process and analyze data in real-time to make informed decisions. Change Data Capture (CDC) is a crucial technology that enables organizations to efficiently track and capture changes in their databases. In this blog post, we’ll explore what CDC is, why it’s important, and our journey of implementing Generic CDC solutions for all online databases at Pinterest.What is Change Data Capture?CDC is a set of software design patterns used to identify and track changes in a database. These changes can include inserts, updates, and dele…

Yongjun Zhang; Staff Software Engineer | William Tom; Staff Software Engineer | Sandeep Kumar; Software Engineer |Monarch, Pinterest’s Batch Processing Platform, was initially designed to support Pinterest’s ever-growing number of Apache Spark and MapReduce workloads at scale. During Monarch’s inception in 2016, the most dominant batch processing technology around to build the platform was Apache Hadoop YARN. Now, eight years later, we have made the decision to move off of Apache Hadoop and onto our next generation Kubernetes (K8s) based platform. These are some of the key issues we aim to address:Application isolation with containerization: In Apache Hadoop 2.10, YARN applications share th…

Alex Wang; Software Engineer I | Lei Pan; Software Engineer II | Raymond Lee; Senior Software Engineer | Saurabh Vishwas Joshi; Senior Staff Software Engineer | Chia-Wei Chen; Senior Software Engineer |IntroductionIn Part 1 of our blog series, we discussed why we chose to use Ray(™) as a last mile data processing framework and how it enabled us to solve critical business problems. In Part 2 of our blog series, we described how we were able to integrate Ray(™) into our existing ML infrastructure. In this blog post, we will discuss a second type of popular application of Ray(™) at Pinterest: offline batch inference of ML models. We will also share how our implementation was able to deliver 4.…

Authors: Alberto Ordonez Pereira; Senior Staff Software Engineer | Lianghong Xu; Senior Manager, Engineering |Part 1: HBase Deprecation at Pinterest & Part 2: TiDB Adoption at PinterestIn this blog, we will show how the team transitioned from supporting multiple query serving stacks to provide different data models to a brand new data serving platform with a unified multi model query serving stack called Structured DataStore (SDS).As a data serving platform, SDS is responsible for various aspects of the data lifecycle management, including:Online Query Serving, which offers multiple data models such as graph, table, document, etc. at 1–2 digit ms p99 latency and with high availability (99.9…

Li Tang; Sr. Software Engineer | Saurabh Vishwas Joshi; Sr. Staff Software Engineer | Zhiyuan Zhang; Sr. Manager, Engineering |At Pinterest, we operate a large-scale online machine learning inference system, where feature caching plays a critical role to achieve optimal efficiency. In this blog post, we will discuss our decision to adopt Cachelib project by Meta Open Source (“Cachelib”) and how we have built a high-throughput, flexible feature cache by leveraging and expanding upon the capabilities of Cachelib.BackgroundRecommender systems are fundamental to Pinterest’s mission to inspire users to create a life they love. At a high level, our recommender models predict user and content inte…

Jeff Xiang | Senior Software Engineer, Logging Platform; Vahid Hashemian | Staff Software Engineer, Logging PlatformWhen it comes to PubSub solutions, few have achieved higher degrees of ubiquity, community support, and adoption than Apache Kafka®️, which has become the industry standard for data transportation at large scale. At Pinterest, petabytes of data are transported through PubSub pipelines every day, powering foundational systems such as AI training, content safety and relevance, and real-time ad bidding, bringing inspiration to hundreds of millions of Pinners worldwide. Given the continuous growth in PubSub-dependent use cases and organic data volume, it became paramount that PubS…

Pinterest Engineering TeamPinterest employees in San Francisco office standing together with the Mentor of the Year 2024 AwardOur internship program truly inspires employees to bring their best self to work every day. Our program has mentors across the business that help interns develop their skills to create a career they love. Our Mentors of the Year have shown exceptional dedication in guiding and supporting our interns on their professional journeys. Discover how being a mentor has helped them advance their own careers at Pinterest and find out what inspires them.In this blog, we’re joined by Irena Lee, Software Engineer I; Ricardo Casilimas, Software Engineer II; Lily Liu, Sr. Data Sci…

Improving Efficiency Of Goku Time Series Database at Pinterest (Part — 3)Monil Mukesh Sanghavi; Software Engineer, Real Time Analytics Team | Ming-May Hu; Software Engineer, Real Time Analytics Team | Xiao Li; Software Engineer, Real Time Analytics Team | Zhenxiao Luo; Software Engineer, Real Time Analytics Team | Kapil Bajaj; Manager, Real Time Analytics Team |At Pinterest, one of the pillars of the observability stack provides internal engineering teams (our users) the opportunity to monitor their services using metrics data and set up alerting on it. Goku is our in-house time series database that provides cost efficient and low latency storage for metrics data. Underneath, Goku is not a …

Zhihao Hong; Staff Software Engineer | Emma Adams; Sr. Software Engineer | Jeremy Muhia; Sr. Software Engineer | Blossom Yin; Software Engineer II | Melissa He; Sr. Software Engineer |SummaryVideo content has emerged as a favored format for people to discover inspirations at Pinterest. In this blog post, we will outline recent enhancements made to the Adaptive Bitrate (ABR) video performance, as well as its positive impact on user engagement.Terms:ABR: An acronym for Adaptive Bitrate (ABR) Streaming protocol.HLS: HTTP live streaming (HLS) is an ABR protocol developed by Apple and supported both live and on-demand streaming.DASH: Dynamic Adaptive Streaming over HTTP (DASH) is another ABR pro…

WHAT IT IS Meta’s Automated Compliance Hardening (ACH) tool is a system for mutation-guided, LLM-based test generation. ACH hardens platforms against regressions by generating undetected faults (mutants) in source code that are specific to a given area of concern and using those same mutants to generate tests. When applied to privacy, for example, ACH automates [...]

Read More...

The post Revolutionizing software testing: Introducing LLM-powered bug catchers appeared first on Engineering at Meta.

Andromeda is Meta’s proprietary machine learning (ML) system design for retrieval in ad recommendation focused on delivering a step-function improvement in value to our advertisers and people. This system pushes the boundary of cutting edge AI for retrieval with NVIDIA Grace Hopper Superchip and Meta Training and Inference Accelerator (MTIA) hardware through innovations in ML [...]

Read More...

The post Meta Andromeda: Supercharging Advantage+ automation with the next-gen personalized ads retrieval engine appeared first on Engineering at Meta.

AI plays a fundamental role in creating valuable connections between people and advertisers within Meta’s family of apps. Meta’s ad recommendation engine, powered by deep learning recommendation models (DLRMs), has been instrumental in delivering personalized ads to people. Key to this success was incorporating thousands of human-engineered signals or features in the DLRM-based recommendation system. [...]

Read More...

The post Sequence learning: A paradigm shift for personalized ads recommendations appeared first on Engineering at Meta.

At Open Compute Project Summit (OCP) 2024, we’re sharing details about our next-generation network fabric for our AI training clusters. We’ve expanded our network hardware portfolio and are contributing two new disaggregated network fabrics and a new NIC to OCP. We look forward to continued collaboration with OCP to open designs for racks, servers, storage [...]

Read More...

The post OCP Summit 2024: The open future of networking hardware for AI appeared first on Engineering at Meta.

At the Open Compute Project (OCP) Global Summit 2024, we’re showcasing our latest open AI hardware designs with the OCP community. These innovations include a new AI platform, cutting-edge open rack designs, and advanced network fabrics and components. By sharing our designs, we hope to inspire collaboration and foster innovation. If you’re passionate about building [...]

Read More...

The post Meta’s open AI hardware vision appeared first on Engineering at Meta.

Data for Good at Meta is open-sourcing the data used to train our AI-powered population maps. We’re hoping that researchers and other organizations around the world will be able to leverage these tools to assist with a wide range of projects including those on climate adaptation, public health and disaster response. The dataset and code [...]

Read More...

The post How open source AI can improve population estimates, sustainable energy, and the delivery of climate change interventions appeared first on Engineering at Meta.

We’re sharing more about the role that reinforcement learning plays in helping us optimize our data centers’ environmental controls. Our reinforcement learning-based approach has helped us reduce energy consumption and water usage across various weather conditions. Meta is revamping its new data center design to optimize for artificial intelligence and the same methodology will be [...]

Read More...

The post Simulator-based reinforcement learning for data center cooling optimization appeared first on Engineering at Meta.

How PyTorch powers AI training and inference Learn about new PyTorch advancements for LLMs and how PyTorch is enhancing every aspect of the LLM lifecycle. In this talk from AI Infra @ Scale 2024, software engineers Wanchao Liang and Evan Smothers are joined by Meta research scientist Kimish Patel to discuss our newest features and [...]

Read More...

The post How PyTorch powers AI training and inference appeared first on Engineering at Meta.

In this talk from AI Infra @ Scale 2024, Joel Colburn, a software engineer at Meta, technical lead Junqiang Lan, and software engineer Jack Montgomery discuss the second generation of MTIA, Meta’s in-house training and inference accelerator. They cover the co-design process behind building the second generation of Meta’s first-ever custom silicon for AI workloads, [...]

Read More...

The post Inside the hardware and co-design of MTIA appeared first on Engineering at Meta.

Llama 3 is Meta’s most capable openly-available LLM to date and the recently-released Llama 3.1 will enable new workflows, such as synthetic data generation and model distillation with unmatched flexibility, control, and state-of-the-art capabilities that rival the best closed source models. At AI Infra @ Scale 2024, Meta engineers discussed every step of how we [...]

Read More...

The post Bringing Llama 3 to life appeared first on Engineering at Meta.

Delivering new AI technologies at scale also means rethinking every layer of our infrastructure – from silicon and software systems and even our data center designs. For the second year in a row, Meta’s engineering and infrastructure teams returned for the AI Infra @ Scale conference, where they discussed the challenges of scaling up an [...]

Read More...

The post Aparna Ramani discusses the future of AI infrastructure appeared first on Engineering at Meta.

We launched Meta AI with the goal of giving people new ways to be more productive and unlock their creativity with generative AI (GenAI). But GenAI also comes with challenges of scale. As we deploy new GenAI technologies at Meta, we also focus on delivering these services to people as quickly and efficiently as possible. [...]

Read More...

The post How Meta animates AI-generated images at scale appeared first on Engineering at Meta.

AI networks play an important role in interconnecting tens of thousands of GPUs together, forming the foundational infrastructure for training, enabling large models with hundreds of billions of parameters such as LLAMA 3.1 405B. This week at ACM SIGCOMM 2024 in Sydney, Australia, we are sharing details on the network we have built at Meta [...]

Read More...

The post A RoCE network for distributed AI training at scale appeared first on Engineering at Meta.

What happens when a team of mechanical engineers get tired of looking at flat images of 3D models over Zoom? Meet the team behind Caddy, a new CAD app for mixed reality. They join Pascal Hartig (@passy) on the Meta Tech Podcast to talk about teaching themselves to code, disrupting the CAD software space, and [...]

Read More...

The post Meet Caddy – Meta’s next-gen mixed reality CAD software appeared first on Engineering at Meta.

The key to developer velocity across AI lies in minimizing time to first batch (TTFB) for machine learning (ML) engineers. AI Lab is a pre-production framework used internally at Meta. It allows us to continuously A/B test common ML workflows – enabling proactive improvements and automatically preventing regressions on TTFB. AI Lab prevents TTFB regressions [...]

Read More...

The post AI Lab: The secrets to keeping machine learning engineers moving fast appeared first on Engineering at Meta.

TL;DR Getting a response from GenAI is quick and straightforward. But what about the confidence level for that response? In [...]

The post Building Confidence: A Case Study in How to Create Confidence Scores for GenAI Applications appeared first on Spotify Engineering.

TL;DR The Spotify FOSS Fund is back again! We created the Spotify FOSS Fund in 2022 to help support the [...]

The post Congratulations to the Recipients of the 2024 Spotify FOSS Fund appeared first on Spotify Engineering.

With the fields of machine learning (ML) and generative AI (GenAI) continuing to rapidly evolve and expand, it has become [...]

The post How We Generated Millions of Content Annotations appeared first on Spotify Engineering.

On Spotify’s Analytics Platform, we’re dedicated to building products that empower data practitioners to discover, analyze, and share insights — [...]

The post Are You a Dalia? How We Created Data Science Personas for Spotify’s Analytics Platform appeared first on Spotify Engineering.

We have a lot of dashboards at Spotify. Our Insight teams and analysts from across the company are constantly whipping [...]

The post Unlocking Insights with High-Quality Dashboards at Scale appeared first on Spotify Engineering.

Car rides have become connected and interactive these days with drivers jamming to music or catching up on podcasts or [...]

The post Technical Decision-Making in a Fragmented Space: Spotify In-Car Case Study appeared first on Spotify Engineering.

Check out Data Platform Explained Part I, where we started sharing the journey of building a data platform, its building [...]

The post Data Platform Explained Part II appeared first on Spotify Engineering.

TL;DR Sometimes we cannot estimate the required sample size needed to power an experiment before starting it. To alleviate this [...]

The post Fixed-Power Designs: It’s Not IF You Peek, It’s WHAT You Peek at appeared first on Spotify Engineering.

Today, we announced Spotify’s latest products and services for companies adopting Backstage, the open source framework for building IDPs.

The post Supercharged Developer Portals appeared first on Spotify Engineering.

Explore how Ripple's transition to Databricks will help support the future of XRP Ledger analytics.

Unlock powerful time-series analytics with Snowflake's enhanced RANGE-based window frame, now generally available. The post Accelerate Time-Series Analytics with RANGE-Based Window Frames, now Generally Available appeared first on Snowflake.

Our optimization delivers fast results, with some customer queries reaching 99.8%.

The post Continued Investments in Price Performance and Faster Top-K Queries appeared first on Snowflake.

Discover how BigGeo is making location-based data more accessible and actionable.

The post Snowflake Startup Spotlight: BigGeo Puts Geospatial Intelligence on the Map appeared first on Snowflake.

Learn what’s new, including security enhancements and cost reductions.

The post Securely Deploy Custom Apps and Models with Snowpark Container Services, Now Generally Available appeared first on Snowflake.

Retrieval Augmented Generation (RAG) allows enterprises to ground responses from Large Language Models in their specific organization’s data. This helps ensure that AI-powered applications provide responses that are not only accurate, relevant, and consistent, but also aligned with business needs. At Snowflake, we make it simple for our customers to implement RAG, while also enabling […]

The post Snowflake Invests in Contextual AI to Make It Easier for Enterprises to Deploy RAG Applications in the AI Data Cloud appeared first on Snowflake.

Learn about advancing medical research with a robust data strategy.

The post Accelerating Academic Medical Research with an AI-Driven Data Strategy appeared first on Snowflake.

Available on GitHub, Polaris Catalog provides new levels of choice, flexibility and control over your data.

The post Polaris Catalog Is Now Open Source appeared first on Snowflake.

Learn how we're empowering customers to protect their valuable data.

The post Snowflake Advances Cybersecurity Excellence by Joining CISA Secure by Design Pledge appeared first on Snowflake.

Learn how Cortex Search provides hybrid search at enterprise scale

The post Snowflake Cortex Search: State-of-the-Art Hybrid Search for RAG Applications appeared first on Snowflake.

Remove integration and procurement friction, improve time to value.

The post How Snowflake Accelerates Business Growth for Providers of Data, Apps and AI Products appeared first on Snowflake.

Snowflake helps customers implement AI safety at scale with an easy, cost-effective LLM guardrails feature. The post Snowflake Cortex AI Launches Cortex Guard to Implement LLM Safeguards appeared first on Snowflake.

Today, Snowflake is excited to announce that the Llama 3.1 collection of multilingual large language models (LLMs) are now available in Snowflake Cortex AI, providing enterprises with secure, serverless access to Meta’s most advanced open source model. Snowflake offers the largest context window of any vendor, at 128k, for the Llama 3.1 collection of models. […]

The post Meta’s Llama 3.1 405B Now Available for Enterprise App Development in Snowflake Cortex AI appeared first on Snowflake.

Migrate, modernize and monetize to unlock innovation on Snowflake’s platform.

The post Getting the Most From Your Modern Data Platform: A Three-Phase Approach appeared first on Snowflake.

A potential recipe for disaster proved to be the focus of every data executive’s agenda over the last year. A year ago many data leaders were caught off-guard. Employees embraced new gen AI tools with fervor, driving interest in all AI initiatives. Generative AI had penetrated the enterprise, with gen AI positioned in the Peak […]

The post From Potential Disaster To Driver of Change… Data Execs Share Their Journeys To Effective AI appeared first on Snowflake.

Join us on July 25, 2024 for a Sports and AI virtual event.

The post Snowflake’s Summer of Sports and AI appeared first on Snowflake.

As advanced analytics and AI continue to drive enterprise strategy, leaders are tasked with building flexible, resilient data pipelines that accelerate trusted insights. AI pioneer Andrew Ng recently underscored that robust data engineering is foundational to the success of data-centric AI—a strategy that prioritizes data quality over model complexity. McKinsey Quarterly’s latest research further forecasts […]

The post Elevating Productivity: Cloudera Data Engineering Brings External IDE Connectivity to Apache Spark appeared first on Cloudera Blog.

Unlock potential! Discover how AI detection tools are transforming digital marketing strategies for targeted and effective campaigns.

Chatbots at the forefront! Explore the game-changing role of AI in streamlining IT operations and elevating customer service.

There are a lot of great reasons to use big data technology for Alzheimer's research.

AI developers need to get outside assistance if they are trying to create better code.

Big data technology can play a huge role in making better decisions in healthcare.

AI can do a great job with your SEO campaign, as long as you use the right tools to help you.

Agile development is becoming more useful for AI software development teams.

AI technology is playing a very important role in helping fight counterfeiting in the 21st Century.

Data analytics can be very helpful for companies trying to improve their SEO.

BPA software is great for data-driven companies that are trying to improve their bottom line.

China has a unique zip code system, which makes it easier to develop great business intelligence models.

Data analytics can help rehab providers improve their local SEO significantly, which will boost their bottom lines.

AI is great for helping to improve your SEO strategy, especially when you are trying to reach customers across different regions.

AI technology can play an integral role in building stronger business relationships in 2024.

Imagine you’re a data scientist or data analyst working for an airline. The marketing team noticed that there is a lot of feedback posted on X. The airline’s reputation is at stake as customer satisfaction is very important. They consult you to analyze the sentiment of posts to understand what’s going wrong and how to […]

The post Introduction to Data Wrangling with Python -Part-1 appeared first on WeCloudData.

The world is becoming increasingly reliant on data, about 2.5 quintillion bytes of data are generated every day and that’s a great sign for anyone interested in a data-driven career. There are many career paths related to data including data scientist, data analyst, ML engineer, AI engineer, BI engineer, and many more. This blog focuses […]

The post Data Scientist Vs Data Analyst: Key Differences, Career Paths, and How to Choose the Right Role appeared first on WeCloudData.

Data scientists and Machine Learning engineers are both hot careers to follow with the recent advancement in technology. Both of these domains, data scientist vs machine learning engineer, are in high demand in any data-driven organization. Although data scientists and ML engineers share common ground in building models and handling data, they have differences in […]

The post Data Scientist vs Machine Learning Engineer appeared first on WeCloudData.

Data science is a rapidly evolving and growing field with undiscovered potential. Do you find the world of data fascinating and want to know how to work as a data scientist in 2025? Whether starting your career in this domain or transitioning from another field, you need a data science roadmap to follow. WeCloudData is […]

The post Data Science Roadmap for Beginners 2025-Skills, Tools, Courses & Career Prep appeared first on WeCloudData.

In the modern tech-driven business environment, making quicker and informed decisions is key to staying ahead of the competition. However, extracting valuable timely insights from an organization’s data is a difficult task. Data volume is expanding along with data sources like SaaS applications, IoT devices, and other external data resources. How to bring together data […]

The post Understanding Data Pipelines: A Beginner’s Guide appeared first on WeCloudData.

Data remains an important foundation upon which businesses innovate, develop, and thrive in the fast-paced world of technology. The data industry is booming as more and more focus is shifting towards data-driven decisions. In the data ecosystem, Data Engineering is the domain that focuses on developing infrastructures that help efficient data collection, processing, and access. […]

The post Must-Have Skills for Data Engineers in 2025 appeared first on WeCloudData.

We live in a highly data oriented world, thus it’s important to understand the key roles of the data ecosystem. Data scientists and engineers are two of the most important data professions and it is important to understand the difference between data engineering vs data science. At WeCloudData we specialize in preparing professionals for careers […]

The post Data Engineering vs. Data Science appeared first on WeCloudData.

Artificial intelligence is revolutionizing healthcare through technologies that can predict, understand, learn, and act. AI and machine learning are being integrated into patient rooms, diagnostic testing, chatbots, and research studies to improve innovation, discovery and patient care. AI use cases in healthcare are growing increasingly With WeCloudData Let’s explore and discuss the various modern applications […]

The post AI Use Case Series: Healthcare appeared first on WeCloudData.

We hear the terms Artificial Intelligence , Machine Learning , and Data Science almost daily. From facial recognition on the phone, to chatbots like ChatGPT these fields are shaping the future. But do we truly understand the differences between them? Many people use AI, ML, and Data Science interchangeably, but in reality, they serve different […]

The post AI vs. Machine Learning vs. Data Science : What’s the Difference? appeared first on WeCloudData.

Data is the new Gold . Everyday we use and generate data more than we often realize. Data is shaping our decisions, from scrolling through personalized social media feeds to checking weather forecasts before leaving home. Behind the scenes, Data Science powers banking apps to detect suspicious activity or when you get personalized recommendations on […]

The post What is Data Science appeared first on WeCloudData.

Things that were once shown in science fiction are now the reality of the world we live in. We have mobile applications that can predict our daily needs and autonomous cars like Tesla that can drive themselves. All this is possible due to Machine Learning . Machine learning (ML) is the backbone of today’s technology […]

The post What is Machine Learning appeared first on WeCloudData.

TThe integration of Artificial Intelligence (AI) and Large Language Models (LLMs), into medical diagnosis healthcare is revolutionizing patient care. But how effective are these tools when it comes to diagnosing complex medical conditions? A recent study conducted by UVA Health, in collaboration with Stanford and Harvard, dives into the diagnostic potential of AI and offers […]

The post How LLMs and AI Are Shaping Medical Diagnosis appeared first on WeCloudData.

In the age of AI, Fine Tuning Large Language Models (LLMs) like have revolutionized how businesses operate. These LLMs can generate human-like text, analyze vast datasets, and support complex decision-making. But not all companies can use off-the-shelf LLMs directly. This is where fine-tuning comes in, allowing businesses to customize LLMs for their specific needs. In […]

The post Understanding Fine-Tuning for Large Language Models (LLMs): Why It Matters and Who Needs It appeared first on WeCloudData.

Have you noticed how Siri understands your request effortlessly and how Netflix seems to know exactly what you’ll want to watch next? These simple interactions are not magic or coincidence, but are the common application of Artificial Intelligence. AI influences every aspect of our lives. We interact with it every day, whether during exercise, work, […]

The post What is Artificial Intelligence (AI)? appeared first on WeCloudData.

Welcome to the third blog in WeCloudData’s Prompt Engineering Series! A famous software design principle by Robert C. Martin from his book Clean Code states: “Functions should do one thing. They should do it well. They should do it only.” This idea of emphasizing clarity and focus is equally important to prompt engineering – Prompts […]

The post Few-Shot and Zero-Shot Prompting appeared first on WeCloudData.

One of the major themes for Infrastructure Engineering over the past couple

years has been higher reliability and better operational efficiency. In a

recent session with the Delta Lake project I was able to

share the work led Kuntal Basu and a number of other people to dramatically

improve the efficiency and reliability of our online data ingestion pipeline. Join Kuntal Basu, Staff Infrastructure Engineer, and R. Tyler Croy, Principal

Engineer at Scribd, Inc. as they take you behind the scenes of Scribd’s data

ingestion setup. They’ll break down the architecture, explain the tools, and

walk you through how they turned off-the-shelf solutions into a robust

pipeline. Video Presentation

https://youtu.be/Riy8860hHSo Unapologetically Technical’s newest episode is now live! In this episode of Unapologetically Technical, I interview Cliff Crosland, the co-founder and CEO of Scanner.dev. Cliff Crosland is a data engineer passionate about helping people wrangle massive log volumes. He sees logs as a treasure trove of insights and believes effective log analysis is critical in […]

The post Unapologetically Technical Episode 14 – Cliff Crosland first appeared on Jesse Anderson.

https://youtu.be/rjpXnaabaqo Unapologetically Technical’s newest episode is now live! In this episode of Unapologetically Technical, I interview Jeff Chou, CEO and co-founder of Sync Computing. Jeff, who holds a PhD from UC Berkeley and a postdoc from MIT, shares his unique journey from academia to startup life, and how his experience with simulations shaped the vision […]

The post Unapologetically Technical Episode 13 – Jeff Chou first appeared on Jesse Anderson.

https://youtu.be/NaOwMim240Y This video covers the latest announcements from StreamNative, Confluent, and WarpStream. We discuss communication protocols, how they’re used, and what they mean for you. We also discuss the various systems using Kafka’s protocol. Finally, we discuss the announcements about writing to Iceberg and DeltaLake directly from the broker and what that means for costs […]

The post Unpacking the Latest Streaming Announcements: A Comprehensive Analysis first appeared on Jesse Anderson.

https://youtu.be/3L-QvVca-As Unapologetically Technical’s newest episode is now live! In this episode of Unapologetically Technical, I interview AJ Hunyady, the founder and CEO of InfinyOn. We talked about his early experiences with networking systems, such as creating firewalls, email, and web servers, and how those prepared him for data work. We chatted about the various implications […]

The post Unapologetically Technical Episode 12 – AJ Hunyady first appeared on Jesse Anderson.

https://www.youtube.com/watch?v=8NHGyesU2Kw In this episode of Unapologetically Technical, I interview Hubert Dulay, the author of Streaming Data Mesh and Developer Advocate at StarTree. We talked about his early experience with web backends like CORBA and SOAP and how those prepared him for data work. He shares his advice for those with web development skills to transition […]

The post Unapologetically Technical Episode 11 – Hubert Dulay first appeared on Jesse Anderson.

AWS CloudFormation: 2024 Year in Review AWS CloudFormation enables you to model and provision your cloud application infrastructure as code-base templates. Whether you prefer writing templates directly in JSON or YAML, or using programming languages like Python, Java, and TypeScript with the AWS Cloud Development Kit (CDK), CloudFormation and CDK provide the flexibility you need. […]

As software development continues to evolve at a rapid pace, developers are constantly seeking tools that can streamline their workflow, improve code quality, and boost productivity. Amazon Web Services (AWS) has answered this call with the introduction of powerful new AI agents for Amazon Q Developer. AI-powered agents transform the way developers approach documentation, unit […]

To better protect themselves, many cyclists are starting to ride with cameras mounted to the front or back of their bicycle. In this blog post, I will demonstrate a machine learning solution that cyclists can use to better identify close calls. The architecture of the solution uses Amazon Rekognition to detect vehicles in recorded bike ride videos. It then analyzes the video to determine if any vehicles are passing too close to the cyclist, within the 3-foot safe distance required by law. The solution automatically generates video clips of these dangerous passing events, which can then be shared with authorities to help improve cyclist safety.

The management of configurations across multiple environments and tenants poses a significant challenge in modern software development. Organizations must balance maintaining distinct settings for various environments while accommodating the unique needs of different tenants in multi-tenant architectures. This complexity is compounded by requirements for consistency, version control, security, and efficient troubleshooting. AWS AppConfig offers a […]

Creating a new cluster with Express brokers is straightforward, as described in Amazon MSK Express brokers. However, if you have an existing MSK cluster, you need to migrate to a new Express based cluster. In this post, we discuss how you should plan and perform the migration to Express brokers for your existing MSK workloads on Standard brokers. Express brokers offer a different user experience and a different shared responsibility boundary, so using them on an existing cluster is not possible. However, you can use Amazon MSK Replicator to copy all data and metadata from your existing MSK cluster to a new cluster comprising of Express brokers.

In this post, we discuss the foundational building blocks of SageMaker Unified Studio and how, by abstracting complex technical implementations behind user-friendly interfaces, organizations can maintain standardized governance while enabling efficient resource management across business units. This approach provides consistency in infrastructure deployment while providing the flexibility needed for diverse business requirements.

In this post, we explore how to build an application using Amazon Bedrock inline agents, demonstrating how a single AI assistant can adapt its capabilities dynamically based on user roles.

In this post, we explore what language embeddings are and how they can be used to enhance your application. We show how, by using the properties of embeddings, we can implement a real-time zero-shot classifier and can add powerful features such as semantic search.

GaadiBazaar draws on over 25 years of vehicle finance expertise from Cholamandalam to connect vehicle buyers and sellers. Their mission is to enable hassle-free transactions at fair prices through buyer-seller interactions and end-to-end financial assistance. This post shows you how GaadiBazaar, an online platform for buying and selling vehicles, achieved significant database cost savings by migrating to Amazon Aurora MySQL Compatible Edition Serverless.

In this post, we explore how to use Amazon Bedrock to generate synthetic training data to fine-tune an LLM. Additionally, we provide concrete evaluation results that showcase the power of synthetic data in fine-tuning when data is scarce.

Researchers developed Medusa, a framework to speed up LLM inference by adding extra heads to predict multiple tokens simultaneously. This post demonstrates how to use Medusa-1, the first version of the framework, to speed up an LLM by fine-tuning it on Amazon SageMaker AI and confirms the speed up with deployment and a simple load test. Medusa-1 achieves an inference speedup of around two times without sacrificing model quality, with the exact improvement varying based on model size and data used. In this post, we demonstrate its effectiveness with a 1.8 times speedup observed on a sample dataset.

This blog post explores LLM-as-a-judge on Amazon Bedrock Model Evaluation, providing comprehensive guidance on feature setup, evaluating job initiation through both the console and Python SDK and APIs, and demonstrating how this innovative evaluation feature can enhance generative AI applications across multiple metric categories including quality, user experience, instruction following, and safety.

In this post, we explore the movement of RAG applications from their proof of concept or minimal viable product (MVP) phase to full-fledged production systems. When transitioning a RAG application from a proof of concept to a production-ready system, optimization becomes crucial to make sure the solution is reliable, cost-effective, and high-performing.

In this post we demonstrate how to enforce client-side timestamp-based write sequence order on Amazon DynamoDB. The goal is to ensure items with lower timestamps don’t overwrite items with higher timestamps, even if the requests are received out of order by the database.

We are excited to announce that Meta’s Segment Anything Model (SAM) 2.1 vision segmentation model is publicly available through Amazon SageMaker JumpStart to deploy and run inference. Meta SAM 2.1 provides state-of-the-art video and image segmentation capabilities in a single model. In this post, we explored how SageMaker JumpStart empowers data scientists and ML engineers to discover, access, and deploy a wide range of pre-trained FMs for inference, including Meta’s most advanced and capable models to date.

We are excited to announce that the Falcon 3 family of models from TII are available in Amazon SageMaker JumpStart. In this post, we explore how to deploy this model efficiently on Amazon SageMaker AI.

In this post, we present a streamlined approach to deploying an AI-powered agent by combining Amazon Bedrock Agents and a foundation model (FM). We guide you through the process of configuring the agent and implementing the specific logic required for the virtual meteorologist to provide accurate weather-related responses.

In this post, we demonstrate how to build a knowledge base solution by integrating enterprise data with Amazon Q Business using Amazon S3. This approach helps organizations improve operational efficiency, reduce response times, and gain valuable insights from their historical data. The solution uses AWS security best practices to promote data protection while enabling teams to create a comprehensive knowledge base from various data sources.

GraphStorm is a low-code enterprise graph machine learning (ML) framework that provides ML practitioners a simple way of building, training, and deploying graph ML solutions on industry-scale graph data. In this post, we demonstrate how GraphBolt enhances GraphStorm’s performance in distributed settings. We provide a hands-on example of using GraphStorm with GraphBolt on SageMaker for distributed training. Lastly, we share how to use Amazon SageMaker Pipelines with GraphStorm.

The mission of Rich Data Co (RDC) is to broaden access to sustainable credit globally. Its software-as-a-service (SaaS) solution empowers leading banks and lenders with deep customer insights and AI-driven decision-making capabilities. In this post, we discuss how RDC uses generative AI on Amazon Bedrock to build these assistants and accelerate its overall mission of democratizing access to sustainable credit.

In this post, we demonstrate how you can deploy an LLM such as DeepSeek-R1—or another FM of your choice—from popular model hubs like SageMaker JumpStart or Hugging Face Hub to SageMaker AI for real-time inference. We explore inference frameworks like Hugging Face TGI which helps streamline deployment while integrating built-in performance optimizations to minimize latency and maximize throughput. Additionally, we showcase how the SageMaker developer-friendly Python SDK simplifies endpoint orchestration, allowing seamless experimentation and scaling of LLM-powered applications.

In this post, we look into Kerberos authentication for Amazon Aurora PostgreSQL-Compatible Edition using AWS Directory Service for Microsoft Active Directory, and particularly the new pg_ad_mapping extension and how it can help you manage access control more efficiently.

In this post, we explore how Crop.photo uses Amazon Rekognition to provide sophisticated image analysis, enabling automated and precise editing of large volumes of images. This integration streamlines the image editing process for clients, providing speed and accuracy, which is crucial in the fast-paced environments of ecommerce and sports.

In this post, we explore the new higher base capacity of 1024 RPUs in Redshift Serverless, which doubles the previous maximum of 512 RPUs. This enhancement empowers you to get high performance for your workload containing highly complex queries and write-intensive workloads, with concurrent data ingestion and transformation tasks that require high throughput and low latency with Redshift Serverless.

AWS and Appian’s collaboration marks a significant advancement in business process automation. By using the power of Amazon Bedrock and Anthropic’s Claude models, Appian empowers enterprises to optimize and automate processes for greater efficiency and effectiveness. This blog post will cover how Appian AI skills build automation into organizations’ mission-critical processes to improve operational excellence, reduce costs, and build scalable solutions.

OpenSearch Service provides rich capabilities for RAG use cases, as well as vector embedding-powered semantic search. You can use the flexible connector framework and search flow pipelines in OpenSearch to connect to models hosted by DeepSeek, Cohere, and OpenAI, as well as models hosted on Amazon Bedrock and SageMaker. In this post, we build a connection to DeepSeek’s text generation model, supporting a RAG workflow to generate text responses to user queries.

This post provides detailed steps for setting up the key components of a multi-account ML platform. This includes configuring the ML Shared Services Account, which manages the central templates, model registry, and deployment pipelines; sharing the ML Admin and SageMaker Projects Portfolios from the central Service Catalog; and setting up the individual ML Development Accounts where data scientists can build and train models.

I'm looking for help here folks. My US company isn't profitable, we've just gone through a 40% RIF. I've got a Latin American Data Engineer on my team that's hungry, performant, and is getting cut in a couple weeks. His creds: Solid with the standard DE stack (Python, Spark, Airflow, etc.) Databricks/Spark processing of data from Snowflake, Kafka, Postgres, Elasticsearch. Elasticsearch configuration and optimization (he's saved us close to 40% on AWS billing) Node.js Integrations. He's the only DE on the team that has a background on Nodejs. His English is 7/10. His Tech is 9/10 His Engagement is 10/10. He's moved Heaven and Earth to make shit happen. Message me and I'll get you a pdf. subm…

How to get a job as a Data Engineer? I'm trying to shift from a non-tech role to tech. Though I have the necessary skills, I'm not getting any calls despite applying to over 1,000 positions. I have a Bachelor's degree in Computer Science and a Master's in Economics. submitted by /u/Acceptable-Video2697 [link] [comments]

I'm looking to transition out of my current career field and thinking of pursuing UC Berkeley MIDS full time. Any idea if this is a good idea? I'm a veteran so the cost doesn't matter submitted by /u/Strong_Resource3056 [link] [comments]

submitted by /u/saipeerdb [link] [comments]

I'm currently diving into a research project and I’d love to get your insights! Topic is Cloud Data Warehouses and Datalakes etc.. (Snowflake and Databricks etc). https://www.surveymonkey.com/r/Market-Research-Cloud-Data-Warehouse-Movement I put together a short survey that should take no more than 2 minutes of your time. Your honest feedback will play a huge role in shaping this study and could even say "forget it, there's no market so stop wasting your time and everyone elses time".. We have zero responses so far and anything more than 0 would be enormous for us. submitted by /u/fattybumbs [link] [comments]

Ai-DS or CSE..........? submitted by /u/No_Albatross_5910 [link] [comments]

Hi folks, For those in a data mesh-like environment—where teams produce data assets (tables, views) that others use to build their own, creating a dependency chain (e.g., Data Product 1 → Data Product 2 → Data Product 3)—how do you manage changes? When a table in Data Product 1 changes, it impacts downstream products owned by different teams. I’m curious about two aspects: Process: How do you coordinate changes across teams? Technical approach: If e.g. modifying business logic in a column could break downstream processes, do you version tables/columns (e.g., mrr → mrr_v2) and keep supporting both versions until the migration is finished? Or do you handle it differently? Any tooling/tech you…

Hello everyone, I got a Bachelor's degree in Economics (with a focus on statistics) and a two-year Master's in Data Science with focus on AI, machine learning, LLMs, regression and classification models, clustering, etc... However now I've been working for 2 years in consultancy on what I guess are considered data engineering things. Just a quick list of the languages and tools I use at my current job: Python, Scala, SQL, Spark, AWS (Lambda, EMR, EC2, Step Functions, DynamoDB, Redshift, etc.), Azure (some experience with SQL Database and Azure Functions), Docker, Git, GitHub, Bitbucket, etc... So the question is, what am I? Should I give a clear direction to my career? Edit: a bit more info…

Hey, I'm sorry if this is the wrong feed; I'm looking for a way to create an easy-to-use database for text-based data for a scientific project in uni (i.e. lecture and reading info from the 1700s, authors, amount of students etc.). I thought about creating a relational database with php/SQL (my professor initially suggested an excel-file and I looked into pivot-tables). Is there any better way? It should be easy to access, as my professor doesn't have much IT-knowledge (like me), and possible allow to make a graphic from the information. Sorry, English is not my first language, any tips are appreciated! submitted by /u/d3pr3CC3d_kraut [link] [comments]

Hello everyone! Just curious if I'm overstepping my bounds here. I am the Data Architect for a team creating a large new process for my company. I'm working with a new Senior DE, and it seems very much as though my offers for development are constantly rejected. I've put in my DE hours, I've proven myself to this DE that I know what I'm doing, but they are limiting me to POCs and artifacts. Normally I wouldn't care much as that is the extent of my role anyway, but there is a large looming deadline for hitting release and I know for certain that we're not going to hit it, so I'm trying to assist where I can. Should I just let it go, or do I need to press harder here? Is it possible I've done…

Hopefully this is the right place to find the info I am looking for: I am developing an application which will be based on the data model for - data validation (i.e. schema registry on confluent with Jason schemas), - for business purposes (something like Collibra Catalog) - for creating java classes based on json schemas (using something like jsonschema2pojo maven plugin) Looking into Collibra it seems lacking of one key feature that I need: creating data assets and export them into json files, to be able to use these schemas for the 1st and 3rd purpose I listed above. From what I can gather it is very useful for data governance at high level but there is no feature to extract the metadata…

As a Developer Advocate, it’s challenging to keep up with user forum messages and understand the big picture of what users are saying. There’s plenty of valuable content — but how can you quickly spot the key conversations? In this tutorial, I’ll show you an AI hack to perform semantic clustering simply by prompting LLMs! […]

The post Tutorial: Semantic Clustering of User Messages with LLM Prompts appeared first on Towards Data Science.

The landscape of computing is undergoing a profound transformation with the emergence of spatial computing platforms(VR and AR). As we step into this new era, the intersection of virtual reality, augmented reality, and on-device machine learning presents unprecedented opportunities for developers to create experiences that seamlessly blend digital content with the physical world. The introduction […]

The post On-Device Machine Learning in Spatial Computing appeared first on Towards Data Science.

Machine learning and AI are among the most popular topics nowadays, especially within the tech space. I am fortunate enough to work and develop with these technologies every day as a machine learning engineer! In this article, I will walk you through my journey to becoming a machine learning engineer, shedding some light and advice […]

The post How I Became A Machine Learning Engineer (No CS Degree, No Bootcamp) appeared first on Towards Data Science.

Correlation does not imply causation. It turns out, however, that with some simple ingenious tricks one can, potentially, unveil causal relationships within standard observational data, without having to resort to expensive randomised control trials. This post is targeted towards anyone making data driven decisions. The main takeaway message is that causality may be possible by […]

The post ➡️ Start Asking Your Data ‘Why?’ — A Gentle Intro To Causality appeared first on Towards Data Science.

Introduction Data science is undoubtedly one of the most fascinating fields today. Following significant breakthroughs in machine learning about a decade ago, data science has surged in popularity within the tech community. Each year, we witness increasingly powerful tools that once seemed unimaginable. Innovations such as the Transformer architecture, ChatGPT, the Retrieval-Augmented Generation (RAG) framework, and state-of-the-art computer vision models — including GANs — have […]

The post Roadmap to Becoming a Data Scientist, Part 4: Advanced Machine Learning appeared first on Towards Data Science.

Working in data science, it can be hard to share insights from complex datasets using only static figures. All the facets that describe the shape and meaning of interesting data are not always captured in a handful of pre-generated figures. While we have powerful technologies available for presenting interactive figures — where a viewer can rotate, filter, […]

The post Publish Interactive Data Visualizations for Free with Python and Marimo appeared first on Towards Data Science.

As data continues to grow in importance and become more complex, the need for skilled data engineers has never been greater. But what is data engineering, and why is it so important? In this blog post, we will discuss the essential components of a functioning data engineering practice and why data engineering is becoming increasingly […]

The post Building a Data Engineering Center of Excellence appeared first on Towards Data Science.

In this fifth part of my series, I will outline the steps for creating a Docker container for training your image classification model, evaluating performance, and preparing for deployment. AI/ML engineers would prefer to focus on model training and data engineering, but the reality is that we also need to understand the infrastructure and mechanics […]

The post Learnings from a Machine Learning Engineer — Part 5: The Training appeared first on Towards Data Science.

In this third part of my series, I will explore the evaluation process which is a critical piece that will lead to a cleaner data set and elevate your model performance. We will see the difference between evaluation of a trained model (one not yet in production), and evaluation of a deployed model (one making real-world predictions). In Part 1, […]

The post Learnings from a Machine Learning Engineer — Part 3: The Evaluation appeared first on Towards Data Science.

It is said that in order for a machine learning model to be successful, you need to have good data. While this is true (and pretty much obvious), it is extremely difficult to define, build, and sustain good data. Let me share with you the unique processes that I have learned over several years building […]

The post Learnings from a Machine Learning Engineer — Part 1: The Data appeared first on Towards Data Science.

The bad news? Data breaks. The good news? These 4 Snowflake data quality checks & features can help!

A beginner’s guide to implementing the latest industry trend: a data mesh.

Show me your data quality scorecard and I’ll tell you whether you will be successful a year from now.

The modern data warehouse architecture creates problems across many layers. Consider instead an immutable data warehouse for scale and usability.

Data lineage is a must-have feature of the modern data stack, yet we're struggling to derive value from it. Here's why and how we can fix this.

This article provides an overview of a newly developed approach to an always on compliance testing strategy at Mission Lane.

We've bookmarked the can't-miss moments of Snowflake Data Cloud Summit 2024.

The data estate is evolving, and data quality management needs to evolve right along with it. Here are three common approaches and where the field is heading in the AI era.

Building and scaling Notion’s data lakeВ июле этого года в блоге Notion вышла подробная статья об их опыте построении data lake: https://www.notion.so/blog/building-and-scaling-notions-data-lake

В блоге базы данных ClickHouse вышел интересный пост, направленный на PostgreSQL юзеров, в нём показаны ключевые различия между моделированием данных в ClickHouse и PostgreSQL: https://clickhouse.com/blog/postgres-to-clickhouse-data-modeling-tips

Нашел в Ютубе двухчасовой доклад про индексы в PostgreSQL: Индексы в PostgreSQL. Как понять, что создавать

Нашел в сети пост мини-книгу от небезызвестной Chip Huyen: Building A Generative AI PlatformПожалуй, это одно из самых подробных руководств про построение Generative AI платформ своими руками, или как сейчас говорят RAG in Production.

Гайд по промпт-инжинирингу от ребят из Anthropic: AI prompt engineering: A deep diveТакже в описании видео есть ссылка на их же мануал: https://docs.anthropic.com/en/docs/build-with-claude/prompt-engineering/overview

DuckCon #5Плейлист с докладами из прошедшей конференции DuckCon #5:— DuckDB – Overview and latest developments— MotherDuck: Taking flight with interactive analytics— Outliers are all you need— Quack attack: Bringing DuckDB to the dart side— A duck for your dashboard: Performant data apps in the browser with DuckDB— Delighting users with RESTful APIs and DuckDB— Aerodynamic data models: Flying fast at scale with DuckDB— Double glazing: Two years of windowing improvements— dbverse: Composable database libraries for larger-than-memory scientific analytics— A quack at building scalable data pipelines with DuckDB

3-х часовой мастер-класс про LLM от Sebastian Raschka: Building LLMs from the Ground Up: A 3-hour Coding Workshop

Бот-помощник для дата инженера 🤖Частенько возникает необходимость расшифровать расписание crontab-выражения на человеческий язык, поэтому запили телеграм-бота: CrontabDescriptionBot Отправьте ему cron-строку и он вернёт вам расписание. Пользуйтесь!Под капотом он работает на лямбдах, поэтому оплачивать хостинг мне не надо, и поэтому всегда будет работать.

В сети появился интересный проект — SlateDB. Это встроенное хранилище на базе LSM Tree, но все данные хранятся на Object Storage сервисах (Amazon S3, Google Cloud Storage, minIO и т.д.). Проект написан на Rust, и пока не существует биндингов на другие языки. SlateDB активно разрабатывается и пока не рекомендуется к использованию в продакшене.Судя по всему, проект появился в результате прохождения мини-курса Mini-LSM.

Недавно я постил доклад про GIL и его отключение в будущих версиях Python. Вчера же на канал PyCon US загрузили доклад от Юры Селиванова про сабинтерпретаторы: Overcoming GIL with subinterpreters and immutability. Это один из вариантов улучшения производительности Python без отключения GIL. Я сам не сторонник удаления GIL, т.к. параллельное выполнение потоков потребует от программиста следить за их синхронизацией, чем собственно сейчас занимается GIL (он же mutex), поэтому интересно было послушать его доклад.Для тех, кто в танке, PEP 734 описывает работу сабинтерпретаторов, релиз этой библиотеки планировался в составе Python 3.13, но, к сожалению, Steering Council в апреле этого года решил …

Мудрые слова!А что думаете вы? Я на практике также стараюсь максимально избегать распределенных транзакций, т.к. это сразу значительно усложняет систему.Наиболее популярные паттерны распределенных транзакций:— Saga Pattern— 2-Phase Commit

Релиз Apache Airflow 2.10Сегодня вышел релиз новой версии Apache Airflow — 2.10. Не успел я ещё перейти на 2.9, а нам подогнали 2.10. Что нового?— @skip_if и @run_if декораторы, позволяющие задавать условия при которых следует запускать или пропускать`task` — появилась возможность задавать разный Executor для tasks в рамках одного DAG— Датасеты отныне не триггерят DAGs, находящиеся в состоянии paused— Важно! Начиная с версии 2.10 Airflow по-умолчанию собирает телеметрию в рамках Open Source Marketing, все данные передаются в систему аналитики Scarf. Чтобы отключить, необходимо задать в конфиге [usage_data_collection]enabled=False либо через переменную окружения SCARF_ANALYTICS=falseС полным…

GIL и PythonPython, пожалуй, самый популярный язык программирования в дата инжиниринге несмотря на то, что его постоянно ругают за производительность и обжорство. Свои позиции он не сдал чего не скажешь, например, о Scala ☠️ Python своей "тормознутостью" отчасти обязан некогда архитектурному решению под названием GIL. Многие слышали эту аббревиатуру, но не все знают причину по которой появился GIL и как он работает под капотом. Если вам это интересно, то держите отличный доклад на русском языке: Зачем нужен GIL и как от него избавиться? от Евгения Афанасьева.В Python версии 3.13, релиз которой будет уже в октябре, добавили опциональную возможность отключить GIL 😲, нюансы описаны в PEP-703. …

Специализация по Data Engineering на Coursera29 августа 2024 года на учебной платформе Coursera стартует специализация по дата инжинирингу от DeepLearning.AI — DeepLearning.AI Data Engineering Professional Certificate. Инструктором на курсах будет Joe Reis, известный в узких кругах как автор книги Fundamentals of Data Engineering, издательство O'Reilly.Обучение рассчитано на 3 месяца, целевая аудитория Intermediate-level специалисты. В специализацию входит 4 курса:— Introduction to Data Engineering— Source Systems, Data Ingestion, and Pipeline— Data Storage and Queries— Data Modeling, Transformation, and ServingОбучение платное как и большинство специализаций на Coursera, но есть возможност…

Get or Create средствами базы данныхУ Haki Benita в блоге нашел статью про реализацию функции get_or_create средствами PostgreSQL — How to Get or Create in PostgreSQL: and why it is so easy to get wrongОтличная статья, мне нравится, что автор использует пошаговый подход и объясняет на каждом этапе какую проблему решает. На первый взгляд может показаться, что нет никаких проблем реализовать Get or Create, но дьявол в мелочах. Рекомендую к прочтению, есть вероятность такой вопрос встретить в будущем на собеседованиях.

GetMatch — это сервис, который помогает IT-специалистам находить работу, а компаниям — закрывать вакансии. В отличие от классических job-бордов, GetMatch сразу показывает зарплатные вилки.Идея «просто» автоматизировать парсер вакансий зародилась у нас с Сашей Варламовым (канал Саши @data_bar) – как часто бывает, слово «просто» стало началом чего-то действительно масштабного. Сейчас у нас есть полноценная автоматизированная система, которая ежедневно парсит вакансии с GetMatch, загружает их в PostgreSQL, тянет курс рубля и доллара, отправляет отчеты в Telegram и полностью автоматизирует ETL-процесс для аналитики в дашборде.Поднял Airflow в docker-compose на Timeweb (не реклама, просто нравит…

Как я понимаю в каждой второй (крупной) компании в РФ есть Greenplum. Сегодня я как обычно смотрел профили свежих подписчиков и их телеграмм каналы и увидел свежее выступление про Greenplum. Если вы с ним не работали, я думаю подойдет для ознакомления. https://boosty.to/magician_data/posts/7ffaec19-1419-40bb-8a2d-be22afc200f1 PS если у вас есть другие классные ссылки по GP пишите в комментах. Чтобы добавить ссылку попробуйте как код это сделать https://kuku.ru

Учитесь как надо посты писать в Linkedin 😎

Когда-то Informatica была №1 среди ETL инструментов. Но они так и не смогли адаптироваться к современным реалиям.Последний раз я смотрел на Informatica Cloud в 2016 году, когда нужно было строить хранилище данных на AWS, выбрал в итоге Matillion ETL (сейчас бы и его не выбрал бы). Вот что говорит CEO информатики:«Это был квартал, в котором мы не предвидели и не достигли тех результатов, которые планировали», — сказал Валия, подчеркнув две «основные проблемы», с которыми столкнулась компания в течение этого периода.«Первая заключается в том, что уровень продления подписок на наши облачные и некоторые не облачные решения не оправдал наших ожиданий, что снизило показатель ежегодной повторяющей…

Неожиданные поворот от Databricks - интеграция с SAP! https://news.sap.com/2025/02/sap-business-data-cloud-databricks-turbocharge-business-ai/Всем SAP инженерам самое время upskill сделать по 🧱

У Snowflake есть бесплатные свежие курсы на курсере:- Introduction to Generative AI with Snowflake (я как раз в процессе, ведь у меня теперь в LinkedIn Data Infrastructure for AI, то есть не отсаю от трендов)- Intro to Snowflake for Devs, Data Scientists, Data Engineers- Introduction to Modern Data Engineering with SnowflakeНо самое ценное в этих курсах:Sign up for a free, 120 day Snowflake trial accountThe entire course can be completed using a free, 120 day Snowflake trial account. This is the recommended way of completing the course. The instructor will also be using a trial account throughout the course. Use the link below to create your free:https://signup.snowflake.com/?trial=student&…

Запись утиной конференции (DuckDB) https://www.youtube.com/playlist?list=PLzIMXBizEZjggaDzjPP542En2R5SV0WiZ

Илон говорит о важности уникального ключа в таблице🦯

AI Company Asks Job Applicants Not to Use AI in Job ApplicationsAnthropic, компания, создавшая одного из самых популярных в мире AI-ассистентов для написания текстов, требует от соискателей согласия на то, что они не будут использовать AI-ассистента при подаче заявки. «Хотя мы поощряем использование AI-систем в работе для повышения скорости и эффективности, пожалуйста, не используйте AI-ассистентов в процессе подачи заявки», — говорится в тексте заявки. «Мы хотим понять вашу личную заинтересованность в Anthropic без посредничества AI-системы, а также оценить ваши навыки коммуникации без помощи AI. Пожалуйста, укажите "Да", если вы прочитали и соглашаетесь».Вот так вот, всем продаёт свой AI,…

Ну дела у ❄️, пампили пампили дата облако, но походу оказался ROI низкий. Как обычно бывает качество продукта тут не так важно. Инвесторам вообще пофигу и когда появляются большие инвестиции - часто вредит. Осталось, чтобы кто-нибудь поглотил Snowflake.Кстати, Databricks можно купить на вторичке, он в топе там.

Зима в Британской Колумбии. Это вид из коворкинга в центре Ванкувера, где обычно по пятницам собираемся с друзьями отдохнуть от Work From Home. Как видно в центре тут корабли, пароходы, поезда, еще есть водные самолеты и вертолеты.

1–2 марта проводим Weekend Offer AnalyticsУстроиться в Яндекс за выходные — реально. Ищем крутых аналитиков с опытом работы от 2 лет на Python, готовых работать в офисном или гибридном режиме на территории России.Подавайте заявку до 24 февраля — и всего за 2 дня пройдите все технические собеседования. После сможете пообщаться с одиннадцатью нанимающими командами и выбрать ту, которая покажется самой интересной. Если всё сложится хорошо, сразу же пришлём вам офер.Узнать подробности и зарегистрироваться.Реклама. ООО "Яндекс". ИНН 7736207543

Всем привет, это была проверка на внимательность:)Аналитики ведь должны быть внимательны!)

Устроиться аналитиком в Яндекс за выходные7–8 декабря проводим Weekend Offer Analytics. До 4 декабря оставьте заявку на участие, 7 декабря пройдите технические собеседования, а 8 декабря познакомьтесь с командами и получите офер.В мероприятии участвует 7 команд: Crowd, Карты, Поиск, YaGPT 2, Автономный транспорт, Реклама и Ecom-сценарии. Вы сможете пообщаться с менеджерами и выбрать проект, который покажется самым интересным.Нанимаем в офисы России и Республики Беларусь.Узнать подробности и зарегистрироваться можно здесь.

Как ИИ помог игрокам в го стать лучшеВсе возрастающее влияние ИИ не всегда делает жизнь лучше. Тут и регулярные судебные разбирательства из-за авторских прав, и уже не скрытые угрозы вытеснить людей с рынка труда, и исследования, которые доказывают, что слишком активное использование ИИ ведет к потере критического мышления.Но не все так плохо. Иногда ИИ помогает, наоборот, раскрыть человеческий потенциал.💬 В го играют уже больше 2000 лет. Неудивительно, что за все это время уровень игроков вышел на плато. Какими бы гибкими ни были правила игры, рано или поздно люди нащупают все возможные стратегии и комбинации.Так было до 2016 года, когда DeepMind представила AlphaGo — ИИ, который смог обыг…

Пришло время рассказать про мою книгу по аналитике для руководителейМы с командой уже довольно долго над ней работаем, и вот, наконец-то, этот процесс движется к завершению.Мы уже задизайнили обложку (да, на картинке она) и теперь приближаемся к тому, чтобы отправить тираж в печать.Ребята из «Эксмо» — крутые. Они помогли нам сделать классный продукт, который скоро попадет на полки книжных магазинов. Мы много раз переписывали материал и в итоге получился труд, который позволяет собственникам или топ-менеджерам получше разобраться в том, что такое работа с данными, какие роли в этом процессе важны, для чего вообще нужна аналитика, и как она помогает расти бизнесу.Интересно ли вам было бы поли…

Когда пришел на новый проект, где заказчик уже пытался сам построить какую-то аналитику с кучей табличек и Божьей помощью#мем

Доказательство теоремы CAP — теперь с картинками!Теорема CAP гласит, что распределенная система может отвечать только двум требованиям из трех: согласованная, доступная и устойчивая к фрагментации.Почему так? Ответы в коротком иллюстрированном гайде по ссылке — ну, или у нас в посте, но без иллюстраций. Гайд не углубляется в тонкости, но знакомит с основными понятиями.🔜 Представим простую распределенную систему — два сервера, которые обмениваются данными друг с другом и с внешним клиентом. На них хранятся данные о значении некой переменной V.У этой системы могут быть следующие свойства:🔵 Согласованность (Consistency) — если клиент отправляет запись V = 1 на один сервер, то второй при чтении…

Про Avito Data Tech и RedashЯ достаточно давно слежу за ребятами из Avito Data Tech, в основном, потому что несколько раз в разных источниках натыкался на то, что они переделали близкий моему сердцу Redash и довели его до уровня корпоративной BI.Парни круто рассказывают об этом у себя в канале в этих двух постах: 1, 2Обе статьи я читал достаточно давно, и вот недавно в очередной раз на них наткнулся. Меня не покидало желание увидеть, как же выглядит этот самый кастомизированный авитовский Redash, и я написал Илье из команды Avito Data Tech.Мой низкий поклон Илье, Олегу и Анару за то, что с легкостью договорились созвониться и показать, что у них получилось.Признаться, был поражен тем, как р…

Итоги розыгрыша мерча LEFT JOIN На календаре 10 февраля, а это значит, что пришло время выбрать 5 счастливчиков, к которым отправятся наши футболки. 🔵 @basiliopmartinez🔵 @Alexey_Krutov🔵 @skaradub🔵 @Nastasiakpt🔵 @skol4356Поздравляем! Мы скоро свяжемся с вами для уточнения условий доставки 👀Важно: на первом скриншоте с результатами вы можете увидеть еще один никнейм, но одно из условий участия, которое не было им выполнено — поделиться своими целями. Поэтому для честности результатов мы решили перевыбрать комментарий. Можете вернуться к посту с условиями, чтобы посмотреть, каких целей намерены достигнуть наши победители в 2025 году.

Пусть ваши графики говорят за васБывало такое, что вы подготовили прекрасный, информативный отчет с наглядными графиками, а коллеги и руководство его не оценили?Или сделали дашборд, а юзер так и считает в экселе, потому что не понял куда смотреть?🔜 Тогда рекомендуем курс «Говорящие графики» Натальи Киселевой. Он стартует 10-го февраля, и на нем вы узнаете:🔵 как визуализировать данные так, чтобы было не только красиво, но и понятно,🔵 как и зачем добавлять сторителлинг в свои графики,🔵 чем отличаются инструмент для визуализации и как с ними работать.Курс пройдет онлайн, все подробности про тарифы и программу — на сайте и в TG-канале. Бонус — дата-комикс от автора курса.☝🏻

Ищем Middle Data Analyst, чтобы SQL не простаивал, Python не пылился, а клиенты были довольныЗаниматься надо будет ad-hoc аналитикой, разработкой отчетов в BI-системах (у нас в основном Tableau, Redash, Superset, Metabase, Datalens) и витрин данных. Что нужно🔵 2+ года опыта. Знаешь, что такое данные, зачем они бизнесу и как их приручить.🔵 Английский от уровня B2. Мы много работаем с зарубежными клиентами, нужно не просто понимать, но и коммуницировать.🔵SQL — на уровне «встал ночью, написал запрос и снова спать». Серьезно, это проверим.🔵 Python — pandas, matplotlib, numpy — все наше, все родное.Будет круто🔵 Знакомство с dbt — за это отдельно пожмем руку.Что даем🔵 Удаленку, гибкий график, кру…

Вакансии в нашу компанию теперь публикуем в корпоративном Telegram-канале @leftjoin_insiderP.S. А еще рассказываем про внутрянку работы в дата-консалтинге, наши проекты и ценности 🙂Приходите знакомиться 👀

Вебинар про карьеру в аналитике — сегодня!А вы уже записались на вебинар Николая Валиотти? Он пройдет в 19:00 по Москве и будет посвящен карьерному развитию в аналитике. Вы узнаете про:🔵 рост по грейдам,🔵 ожидания бизнеса от джунов, миддлов и сеньоров,🔵 возможности для перехода в смежные области,🔵 сложности и преимущества работы в штате и на аутсорсе.🔜 ЗарегистрироватьсяЗа регистрацию еще дают запись вебинара, карьерный гайд и промокоды karpov.courses!

Можно ли украсть украденные данные?Давненько мы не писали про OpenAI, а ведь они с самого начала года нагенерировали новостей: уже успели выпустить новые «думающие» модели o3-mini и o3-mini-high и обвинить китайскую компанию DeepSeek в воровстве.Вот про DeepSeek и поговоримЕсли пропустили, то DeepSeek представила AI-ассистента с доступом к двум моделям: «обычной» DeepSeek-V3 и «думающей» DeepThink R1 (аналог o1). Доступ к обеим версиям бесплатный (пока), API дешевый, а еще весь проект опенсорсный. В общем, серьезный конкурент OpenAI.Вскоре после релиза OpenAI заявила, что подозревает DeepSeek в краже данных для обучения своей модели. Поэтому она и получилась такой умной так быстро — вся в C…

Вебинар про карьеру в аналитике пройдет 6 февраляНазначили новую дату вебинара, который проведет Николай Валиотти — 6 февраля, 19:00 по Москве.Напоминаем, что вебинар будет посвящен тому, как построить карьеру в сфере аналитики:🔵 Как вырасти из джуна до миддла, а из миддла — до сеньора?🔵 Какие еще есть пути, кроме роста по грейдам?🔵 Что надо знать, прежде чем устраиваться аналитиком в штат или уходить на аутсорс? Пройдите регистрацию по ссылке в конце поста (если не сделали это в прошлый раз), чтобы получить запись эфира, карьерный гайд и промокод на курсы школы karpov.courses.🔜 Зарегистрироваться

LEFT JOIN pinned a video

Valiotti Analytics → LEFT JOINТе, кто с нами давно, знают, что канал LEFT JOIN — проект Николая Валиотти, фаундера дата-консалтинга Valiotti Analytics, основанного в 2019 году.Valiotti Analytics занимается аутсорсингом аналитики и аутстаффом дата-экспертов в компании из диджитал-сфер — эдтехов, финтхеов, разработчиков игр и мобильных приложений, телекомов и так далее. За эти 5 лет у VA накопилось 40+ кейсов в портфолио, экспертиза и отличная репутация.Тем временем LEFT JOIN из авторского проекта вырос в целый большой бренд, который объединяет блог, каналы в TG и на Youtube и несколько курсов по аналитике. У нас много подписчиков на всех площадках, и поэтому это название стало хорошо узнавае…

Работа с датой и временем в SQLiteВ sqlite есть встроенные функции для работы с датами, но они мне всегда не слишком нравились.Поэтому разработал расширение sqlean-time. Оно поддерживает точность вплоть до наносекунд и предоставляет удобное структурированное API с большим количеством функций.https://antonz.org/sqlean-time

Современный SQLite: Вычисляемые столбцыВычисляемые (generated) столбцы рассчитываются на основании других столбцов той же таблицы. Например, мы можем рассчитать процент отказов на основе количества запросов:create table stats ( date text, n_total int, n_failed int, fail_perc as (n_failed*100.0 / n_total));Другой распространенный сценарий — вытащить поле JSON-документа в отдельный столбец, и при необходимости проиндексировать его:create table events ( id integer primary key, event blob, etime text as (event ->> 'time'), etype text as (event ->> 'type'));create index events_time on events(etime);insert into events(event) values('{"time": "2024-05-01", "type": "credit"}'),('{"time": "2024-05-0…

Современный SQLite #1: STRICT-таблицыЯ начинаю марафон! Но не марафон желаний 😅 Буду вкратце рассказывать о полезных функциях современной SQLite, про которые вы (возможно) не слышали.Начнем со «строгих» таблиц.Как вы наверняка знаете, SQLite обладает гибкой системой типов (за что некоторые даже называют ее «джаваскриптом в мире СУБД»). Вы можете хранить любые значения в столбцах любых типов: например, строки в INTEGER-столбце или бинарные данные в REAL-столбце.Кто-то любит SQLite за эту гибкость, другие ненавидят за нее же. Поэтому в какой-то момент авторы SQLite добавили «строгие» (STRICT) таблицы:create table people ( id integer primary key, name text, salary real) strict;Они проверяют ти…

Вы когда-нибудь бывали в квартире, где живут аналитики? Это место, где на кухне можно подслушать сплетни про A/Б-тесты и метрики, почитать честные мысли о работе в большой IT-компании и пообщаться с сотрудниками аналитики Авито не в рамках конференций, а просто в комментариях.Попасть в это место довольно просто — подписывайтесь на телеграм-канал «Коммуналка аналитиков».✍️ Аналитики Авито делятся невыдуманными историями из жизни и работы.✍️ Рассказывают про успехи и фейлы из рабочих будней. ✍️ Обмениваются мемами, запускают голосования за любимые фильмы и активности.✍️ Устраивают обсуждения с подписчиками канала.✍️ Показывают, как устроена аналитическая культура комании изнутри.И доказывают,…

1–2 марта проводим Weekend Offer AnalyticsУстроиться в Яндекс за выходные — реально. Ищем крутых аналитиков с опытом работы от 2 лет на Python, готовых работать в офисном или гибридном режиме на территории России.Подавайте заявку до 24 февраля — и всего за 2 дня пройдите все технические собеседования. После сможете пообщаться с одиннадцатью нанимающими командами и выбрать ту, которая покажется самой интересной. Если всё сложится хорошо, сразу же пришлём вам офер.Узнать подробности и зарегистрироваться.

Почему AI станет вашим лучшим карьерным консультантом и что с этим делатьПоследнее время много думаю о том, как AI может изменить подход людей к выстраиванию своей карьеры. На мой взгляд, основная проблема сейчас в том, что карьерные траектории стали предельно размыты. Это уже не просто путь вида «иди в компанию, проработай 5 лет, расти по должности». Мы сталкиваемся с тем, что меняются сами профессии, расширяется разнообразие типов работы, всё больше людей ищут деятельность, соответствующую их ценностям и убеждениям, а не только отталкиваются от зарплатных ожиданийДаже у школьников сейчас намного больше представления о карьерном рынке благодаря тому, что профориентацией занимаются уже со ш…

Представьте, вы приходите на новую работу с амбициозными задачами и высокой степенью неопределённости. Всё новое: процессы непривычные, культура отличается от привычной. Погружаясь в работу, закрадывается сомнение: ваше представление о роли отличается от ожиданий окружающих. Возникает вопрос: «На своём ли я месте? Этого ли я хочу?». Так со мной и произошлоЯ пришел на позицию руководителя лаборатории искусственного интеллекта. Не очень важно, что написано в официальном job description, по факту договоренностей с руководителем моя должностная обязанность звучит скорее так: «Сделать дизрапт в детском образовании с помощью ИИ». Ничего не понятно, но очень интересно. Именно в такие авантюры мне …

Вебинар VK Cloud «Поднимаем Data Lakehouse на основе Trino в облаке»11 февраля на бесплатном вебинаре от VK Cloud расскажут:· Что такое Data Lakehouse.· Как эта архитектура объединяет преимущества Data Lake и Data Warehouse.· Как упрощается управление и ускоряется анализ данных из различных источников в одном месте. · Насколько удешевляется хранение данных.Где: онлайн, необходимо зарегистрироватьсяКогда: 11 февраля в 17:00Также Алексей Белозерский, руководитель группы BigData Sevices в VK Cloud, покажет как новый облачный сервис Cloud Trino от VK Cloud обеспечивает быструю обработку больших объемов данных, позволяя получать ценные инсайты в реальном времени.Регистрация

Знание DWH и dbt – это must have для уровня middle/senior-аналитика и инженера как на российском, так и на международном рынке.Хотите освоить эти инструменты?Попробуйте симулятор Data Warehouse Analytics Engineer на базе dbt для инженеров и аналитиков данных.Уникальный формат обучения:⚡️ максимум прикладных практических навыков⚡️ браузерная IDE для запуска проектов dbt⚡️ геймифицированные задания с подробным описанием и подсказками⚡️ экспресс-квизы для быстрого запоминанияВас ждут более 100 задач из разных бизнес-сфер, которые вы возьмете в портфолио, например:✅ Статистика поездок на самокатах - вы сможете выстроить аналитический пайплайн из таблиц и представлений, который выдает общую и дн…

Дата-инженеры — самые ценные игроки любой DS-командыДанные — это база, без навыков их обработки и организации хранения не получится построить никакой аналитики.Сейчас компании часто предпочитают брать многоруких-многоногов, которые сразу и данные подготовят, и проанализируют, и сделают информативный отчет для бизнеса. Такие специалисты — буквально на вес золота.Чтобы прокачаться во всем сразу — приходите учиться в Simulative.Курс-симулятор от Simulative построен таким образом, что вы сразу погружаетесь в настоящую работу дата-инженера: например, вы будете формировать продуктовые рекомендации для клиентов крупного телекома с помощью Clickhouse. Обучение охватывает весь стек, который нужен мн…

🤔 Кому НЕ подходит профессия аналитика? (спойлер: возможно, тебе) Я за время работы в Яндекс.Практикуме повидал множество людей, которые приходят обучаться профессии аналитика данных, не очень понимая как устроена рабочая рутина и что это за собой влечет для них. Поэтому решил попробовать систематизировать и описать 5 личностных черт, которые могут стать препятствием в работе аналитика 👇1️⃣ 🔍 «Детали? Не, не слышал»От вашей внимательности будут зависеть решения компании. Работа требует постоянной проверки и перепроверки данных. Если вам сложно замечать различия между разными источниками, методично докапываться до причин этих несоответствий, если вы начинаете «выходить из себя», когда после …

🌐 Подборка Telegram-каналов для поиска работы в IT и Digital Февраль — идеальное время для поиска новой работы! Начало года традиционно становится сезоном активного найма, когда компании обновляют планы, запускают новые проекты и активно ищут таланты. Мы подготовили для вас проверенную подборку Telegram-каналов, где публикуются актуальные вакансии от надежных работодателей. Эти каналы помогут вам найти работу быстрее, экономя время и усилия, а также предложат советы по подготовке резюме, прохождению собеседований и изучению рынка труда. Что вы найдете в нашей подборке:✅ Актуальные вакансии — ежедневно обновляемые предложения от ведущих компаний. ✅ Советы экспертов — как выделиться среди дру…

😈 Челлендж по запуску 12 простых IT-проектов за 12 месяцевЛетом 2023 г. появилось комьюнити инди-хакеров, в котором ребята решили запускать 1 простой продукт в онлайне каждый месяц.И в реальном времени показывать: как разрабатывают, продвигают и сколько получилось заработать на запусках таких микро-проектов.Например, вот 👉 пост про то, почему американцы платят $40 за простой конвертер картинок, который сделали за 4 недели. Несмотря на то, что вокруг полно бесплатных аналогов)👉 Этот пост про то, как за 2 недели запустили темную тему с тарифами от $5 до $99. Четыре таких продукта приносят на пассиве как зп среднего разработчика.А вот 👉 тут — как все может грустно закончиться, если 2 года пили…

🎥 Я не очень люблю смотреть много видео на youtube, бывают такие каналы, где конечно смотришь из-за лектора, но во многих случаях быстрее получить сжатое текстовое саммариНашёл крутой способ превращать часовые видео в удобные конспекты за пару минут! 🚀Суть в том, что берёте расшифровку видео через расширение Glasp и отправляете её в DeepSeek. А дальше самое интересное — можно получать не просто сухой текст, а персонализированные конспекты под ваши задачи:• Учитесь? Получите академический конспект с терминами и вопросами для проверки• Занимаетесь бизнесом? Будут кейсы и метрики• Нужны креативные идеи? Сделает с метафорами и вдохновением• Технарь? Получите чёткие спецификации и кодИ ещё можно…

Год назад здесь была реклама нового, но уже довольно любопытного курса по API. За год его автор, тимлид команды аналитиков Глеб Учитель, проделал огромную работу: на курс записалось более 1300 человек. И сейчас его знают многие. Если вы тоже хотите расти по хардам в IT — добро пожаловать!🔹🔹 🔹🔹Начните с бесплатных уроков по архитектуре и интеграциям в чат-боте курса. Переходите и знакомьтесь.👇@studyit_help_bot Скидка на курс от канала — 1 000₽ по промокоду DATAL4 до 31 января.

AI убьет дата-жокеев: Почему аналитики данных останутся незаменимымиВ контексте предыдущего поста у многих сразу же возникает вопрос «А не убьет ли AI профессию дата-аналитика?». Отвечаю: AI не убьёт профессию дата-аналитика, AI убьёт профессию дата-жокеяКто такие дата-жокеи? Это специалисты, чья рабочая рутина сводится к набору алгоритмизируемых действий — вытащил данные из хранилища, засунул в excel (python, google sheets), сделал отчет, отправил руководству. Конечно это очень удобная позиция для работы в найме, потому что она не пыльная и практически всё можно автоматизировать. Сам я начинал свой путь примерно с этого, только доставал не из хранилища, а из гугл-аналитикса и отчеты делал …

AI-репортинг за 5 минут: Как GPT превращает текстовые запросы в SQL и executive summaryИнтересная статейка про то как через AI автоматизировать пайплайн подготовки простых отчетов — как скормить LLMке структуру таблиц, чтобы потом можно было писать запросы на человеческом и трансформировать их в SQL, а затем полученный ответ транслировать в виде коротких executive-summary. Если завернуть всё это в каком-нибудь телеграм-боте с доступом только по white-list, то можно нехило так сэкономить время на выполнении задачек простого репортингаВ конце статьи ссылка на ноутбукhttps://archive.is/QumiN (оригинал на медиуме, по ссылке на архив по идее должно открываться без VPN)

Всегда рад помочь хорошим и интересным проектам, чтобы про них узнала аудитория. Сегодня - один из таких случаев!Привет, это Артемий @onepx, я создатель rushdb.com - передовой базы данных, построенной на базе Neo4j, не требующей конфигурации, моделирования данных и какой-либо нормализации данных. Это позволяет использовать ее для быстрого прототипирования и разработки agentic решений и приложений без привлечения дорогостоящей backend экспертизы. Вы просто отправляете любые JSON / CSV данные, а RushDB берет на себя всю рутину по нормализации, лэйблингу, установке связей между сущностями и типизации входных данных. Сегодня у нас случился публичный запуск и мы опубликовали краткий анонс всех в…

Когда я отправлял в календарь этот пост, DeepSeek и Mistral еще не взрывали пуканы обычных обывателей интернета.@ohmydataengineer - канал "🕯Труба Данных" и пятничный юмор!

https://www.pracdata.io/p/open-source-data-engineering-landscape-2025Все вы помните огромные картинки, на которых 17 миллионов логотипов сервисов для данных. Вот эта статья - одна из таких, но тут главная особенность - здесь ТОЛЬКО open source решения, и причем в адекватном количестве. С понятными пояснениями, почему тот или иной инструмент попал в список.Как всегда, читать эту картинку нужно следующим образом "А что еще есть на рынке в этой сфере кроме X?"@ohmydataengineer - канал "🕯Труба Данных" и ставшие уже классическими landscapes картинки!

@ohmydataengineer - канал "🕯Труба Данных" и пятничный юмор!

https://www.latent.space/p/2025-papersЕсли вы угораете по white-papers и хорошим техническим статьям и публикациям (а не постам в блогах), вот отличный список из 50 статей пол AI Engineering.Читать не перечитать!@ohmydataengineer - канал "🕯Труба Данных" набрал себе чтива на недели вперед!

https://vutr.substack.com/p/8-minutes-to-understand-prestoБольшая пояснительная статья про работу Presto (ну и в целом Trino работает похожим образом). Все еще сильно советую подписаться на этого парня, он хорошие статьи пишет@ohmydataengineer - канал "🕯Труба Данных", который ничего умного в этот раз не придумал.

https://www.gable.ai/data-contracts-bookГигаЧад и O'Reilly выкатывают в открытый доступ (правда надо оставить емейл) первую версию книжки про дата контракты.Как по мне, хайп на эту штуку прошел и чет даже не сильно зудит это применять. Но, возможно, вы что-то подчерпнете для себя!@ohmydataengineer - канал "🕯Труба Данных" в сомнения про дата контракты

Нам тут обещают, что скоро AI agents нас всех заменят.Так вроде бы уже такие системы работают....@ohmydataengineer - канал "🕯Труба Данных" и пятничный юмор!

https://clickhouse.com/blog/json-bench-clickhouse-vs-mongodb-elasticsearch-duckdb-postgresqlВы будете кидать 💩, но я опять про ClickhouseОгромная статья с технической мяготкой про 1 Billion JSON Challenge и насколько новый нативный тип JSON в клике работает быстрей и эффективней по памяти и стораджу по сравнению с другими базами данных.@ohmydataengineer - канал "🕯Труба Данных" в очередной раз про одно и то же!

https://medium.com/strava-engineering/rain-a-key-value-store-for-stravas-scale-7f580f5b4848У меня love / hate relationships с бегом: когда-то я его любил, бегал марафоны, потом ненавидел, потом снова любил, потом снова ненавидел, ну вы поняли =)И каждый раз я продолжал загружать свои пробежки в Strava.Наткнулся тут на их инженерный блог и прикольную статью о том, что они там изобрели в качестве хранилищ для определенного типа данных и вообще как там у них устроено.@ohmydataengineer - канал "🕯Труба Данных" про технологии в продуктах, которыми пользуемся ежедневно!

https://www.warpstream.comWarpstreamКстати, забыл рассказать, что я наткнулся на прикольный продукт от Confluent: Kafka, только вместо памяти на машинах - датка лежит в бакетах.Да, скорость будет поменьше, но и ценник сильно меньше 😏@ohmydataengineer - канал "🕯Труба Данных" радуется прикольным незнакомым инструментам!

https://www.astronomer.io/ebooks/apache-airflow-best-practices-etl-elt-pipelines/Астрономер (главный контрибьютор Airflow) раздает книжку по best practices в Airflow. Ничего сверхестественного, но кажется вполне себе годным чтивом, обновить знания.@ohmydataengineer - канал "🕯Труба Данных" любит Airflow, как бы его не хейтили

Рекрутеры используют AI, чтобы отсеивать нерелевантные отклики.А можно просто фильтровать по словам и сразу всех "автоматизаторов откликов" выявить 😂@ohmydataengineer - канал "🕯Труба Данных" и пятничный юмор!

https://www.answer.ai/posts/2025-01-08-devin.htmlПомните, какое-то время назад, в интернете появился Devin, AI программист, который должен был нас всех заменить? Тогда в демо этого AI Agent компания показывала, что он от и до смог решить какую-то задачу с Upwork без какого-либо вмешательства.Так вот пока это все пустые обещания, все очень так себе.@ohmydataengineer - канал "🕯Труба Данных" говорит что нас заменят, но не скоро

https://github.com/databrickslabs/dqxDatabricks выложили в опенсорс DQX - фреймворк для DQ поверх pyspark датафреймов.Больше фреймворков богу фреймворков.Даже мотивация для этого фреймворка какая-то хлюпкаяCurrent data quality frameworks often fall short in providing detailed explanations for specific row or column data quality issues and are primarily designed for complete datasets, making integration into streaming workloads difficult.@ohmydataengineer - канал "🕯Труба Данных" не верит в очередной фреймворк

2/2в общем, много чего для нужд аналитики в удб уже есть, но чего там нет — надо додумывать самому)из озвученного — нет поддержки триггеров и хранимых процедур. плюс конечно как у любого нового инструмента нет такого богатого набора аддонов и инструментов как у того же постгреса, то же относиться и к коммьюнити.плюс в документации есть отдельная сноска чего пока нет в колоночных таблицах> В настоящий момент реализована не вся функциональность колоночных таблицhttps://ясубд.рф/docs/ru/concepts/datamodel/table.html#column-oriented-tables(надеюсь, документация просто чуток отстаёт от новых фич)⌘⌘⌘в теории звучит хорошо — один инструмент лучше, чем пять разных (при прочих равных)если задачи пос…

📦 YDB + OLAP = ?ydb — это отлп-база данных от Яндекса. основная характеристика — нативная распределённость с поддержкой транзакции. из свойства распределённости следует высокая доступность и гибкая масштабируемость. помимо олтп-базы там есть ещё такая сущность как топики, с кафка-совместимым апи.и вот недавно ребята объявили, что ещё они идут в сторону олап-нагрузки. собирая эдакую всё-в-одном базу: с одной стороны у вас сервисы, с другой аналитика, а между ними нативный сдс-процесс, прямо не выходя из контура бд. https://yandex.cloud/ru/blog/posts/2024/12/ydb-dwh⌘⌘⌘интересно посмотреть со стороны аналитики и нашего двх-мира.→ очереди настраиваются через SQL-команды (кажется, в кликхаусе мо…

🗿 подкасты про карьеру специально для постоянной читательницы этого блога — Натальи — ни к чему не обязывающая подборка подкастов на тему карьеры, её смены и всякого такого >_>подкасты хороши тем, что можно слушать на фоне, удобно чтобы ненапряжно набраться чужого опыта. пока остальные процессы ещё только готовятся или обдумываются⌘⌘⌘первым делом, конечно, стоит упомянуть про подкаст «собес» — в последнем сезоне они делают эпизоды в формате мок-собесов. это когда реальный рекрутер под реальную вакансию собесит кандидата прямо в эфире, а потом дают обратную связь и говорят что можно подкрутить. на своём опыте ощутил, что полезно послушать со стороны как звучит все эти привычные фразы и что и…

так! пора поговорить о действительно важных вещах, о которых почему-то все молчат — об оптимизации процесса загрузки посудомоечной машинычто же там оптимизировать, спросите вы? сейчас расскажу: ⁃ есть куча грязной посуды в раковине ⁃ надо её загрузить в посудомойку ⁃ чтобы всё влезло ⁃ и чтобы всё промылосьвот мы всё загрузили, оно помылось, настал финальный этап — разгрузка посуды и её раскладка по своим местам в ящиках и шкафах. и вот тут всплывает ещё одно — неявное — требование к процессу: упорядочивание. ведь (когда они не в мойке и не в раковине) вилки живут с вилками, ложки — с ложками; глубокие тарелки с одной стороны, отдельно от плоских. у кастрюль и плошек тоже есть свои места.и …

🏦 новый_план(2)_finalв 2021 у меня был план, который потом пришлось спешно править и вот спустя всего год снова пришлось пере-пере-придумывать план.в шведской Кларне нотис-период был два месяца, было время подумать-подготовиться. исходный план был максимальной широкий: «посмотреть всех» — включая иностранные компании.сперва готовился, искал зарубежом (чтобы работать из рф), но в итоге сузил поиск до стандартного варианта — находиться в Москве и работать на местную компанию.конечно, сразу в голове был вариант с Яндексом — благо для бывших сотрудников есть опция фаст-трека, и (ожидаемо) некоторое количество людей, готовых поработать вместе или же посоветовать таких.но я решил воспользоваться …

😭 как я не прошёл «собес» в ABBYсходил на подкаст к Кире Кузьменко, поговорили в формате мок-интервьюhttps://t.me/kirafound/1861ещё год назад я бы точно не рискнул публично собеситься — да ну его! но в последнее время стал спокойнее ко всему относиться: даже «отказ» это тоже новый опыт. тем более в этом случае была полезная обратная связь от Киры и Татьяны.было интересно поговорить и ещё более интересно узнать «как надо».→ главный вывод, который я для себя сделал — надо готовиться к собесам (ваш кэп!) и хотя бы гуглить непонятные слова из вакансии. по своим другим вакансиям я обычно знал ключевые технологии и их особенности, но конкретная эта вакансия была чуть в стороне: про обработку данн…

⚖️ собесы: дисбаланс за столомбывало на собесе сижу-пыхчу над задачкой, отбрасывая варианты один за другим, в итоге в муках порождаешь вроде-ничего-такое решение… только для того, чтобы интервьюер на той стороне нашёл там несколько критичных багов, и не особо запариваясь при этом. в такие моменты я чувствовал себя совсем тупым. ну или как минимум тупее интервьюера (а значит, тупее среднего сотрудника целевой компании!) 🤦‍♂️и хотя интервьюер действительно может быть умнее собеседуемого, в конечном итоге в этом вся идея: лиды собесят к себе в команду, синьоры собесят миддлов и т.д.; всё-таки не стоит забывать что человек на той стороне скорее всего проводит не первый собес, а значит уже набил…

🦖 как вытаскивали динозавра в опенсорскаджый яндексоид знаком с «ытём» — система хранения данных с sql-подобным доступом. я бы сказал, что YT находится в центре всех процессов яндекса, которые завязаны на анализ данных (это получается, практически всех?)(недавно осознал, насколько это внушительный буст для команды, когда у тебя по дефолту уже есть данные в нужном месте и доступная инфра, чтобы быстро начать ими пользоваться)а с не давних пор, посмотреть на этого дивного зверя могут все желающие — теперь YTsaurus доступен в опенсорс. ↓ доклад с прошлогоднего хайлоада с отчётом и рефлексией команды по итогам первой фазы этого эпического движа (да-да, с офф. релизом работа только началась))⌘ о…

🤑 как я искал валютную удалёнкукогда я понял (ещё будучи в Стокгольме), что где-то осенью уже точно буду менять работу, я начал прикидывать варианты.на тот момент (и с той стороны границы) самым выгодным казался вариант «валютной удалёнки»: когда платят в валюте европейского уровня зарплату, а я сам буду попивать смузи у себя в Москве. в уме я рисовал себе картину как буду получать на руки 5-7к долларов хе-хе-хеда, схема подразумевает, что у меня будет открыто грузинское или армянское ип, куда будут переводить оклад. насколько я понимаю налоги там что-то порядка 1% и открыть можно условно за несколько дней пребывания на месте. звучит несложно и вполне легально.⌘я начал искать вакансии, откл…

за время своей безработности я поговорил-познакомился с десятком компаний: посмотрел как там устроен процесс собесов, как общается команда на встречах, что за стэк используют и какие планы у команды.среди всех начатых процессов мне запоминалась команда Купера (они же Sbermarket до июня 2024, а ещё раньше это был Instamart)начнём с того, что это был самый быстрый процесс: обратная связь после каждой встречи буквально на следующий день и минимальный интервал между встречами. можно считать, что зачёт на отсутствие бюрократии получен «автоматом».сам процесс был тоже без лишних этапов — быстрый скрининг и две секции: поговорить по душам за технику и потом за твой опыт и мотивациюв целом осталось…

🤓 подгтовка к собесам: список техвопросов в мой прошлый заход по поиску работы я исходил из довольно наивного подхода: вот я такой красивый работу работаю, по пути что-то узнаю новое, вот это и буду отвечать на собесах! если чего-то не знаю, то так тому и быть; типа за два часа не стану профи во всех вопросах.в итоге на интервью на вопрос «какую базу выберешь под задачу» отвечал «хехехе, постгрес!». и хотя по всё нарастающей универсальности последнего ещё можно было бы дожать ответ, если бы я был наглее и увереннее; но по факту интервьюеры прекрасно понимали по ответу, что других баз я просто не в курсе.в этот раз я решил подготовиться заранее: сделать список потенциальных тем, которые обыч…

👋 Саша Михайлов, безработныйпочти год назад я писал, как устроился в шведский финтех Klarna и уехал жить в Стокгольм. Раз уж написал начало истории, напишу и её окончание 😭что же случилось? не прошел перфоманс ревью? очередные лейоффы? Кларна закрылась? всё гораздо проще: семья не прижилась в новой стране и мы решили вернуться назадне зря говорят, что основная сложность при эмиграции приходится именно на плюсодинов. В отличие от супруги, у меня был и клёвый офис, куда можно было ходить, и живые люди с кем можно было пообщаться за жизнь; поэтому мне было гораздо проще адаптироваться и в целом я чувствовал себя на своём месте.в итоге семья уехала «на лето к бабушкам на родину», откуда потом р…

🥴 Reverse ETL — антипаттерн или норм?у меня тут недавно наконец-то сложилась картинка в голове! до этого краем уха слышал этот новый термин, но никак не мог переложить его на реальность. А потом увидел схемку где помимо стандартного направления источник → двхбыла дополнительная стрелочка:источник → двх → (обратно) источник в итоге понял, что видел уже два таких кейса и пока ощущения смешанные:1) считать бонусы определённому срезу сотрудников. был кейс когда ставка зависит от количества и статуса лидов например (или других штук, которые можно посчитать только в двх)2) сейчас есть задача передавать данные между микросервисами (разные команды): микросервис А производит данные, их сгружаем в ДВ…

😱 забанили в LinkedIn случилось страшное! дело было после мобилизации, когда я активно искал работу за бугром. каждый день я стабильно искал дата-вакансии и откликался сначала на интересные, а потом и просто на все более-менее подходящие. Из всех откликов…

🎙️сходил на подкаст обсудить кофе и дату↑ не было определённого плана, поэтому мы импровизировали; прошлись по основным этапам: предыдущие подходы к смене карьеры, приход в дата инжиниринг через курс по анализу данных, поэтапную смену компаний, поиск работы и переезд в Швецию, и как тут у нас живется при победившем дата-меше. в эпизоде упоминали:⌘ доклады Жени Ермакова и Коли Гребенщикова про чудо-DWH в Яндекс GO, благодаря которым я загорелся идеей попасть туда;⌘ на один из предыдущих эпизодов подкаста, где гостем был Игорь Мосягин — поскольку он был в команде дата-платформы, там было много сочных деталей типа админстрирования Редшифта на 2к пользователей и мотивацию к документации.

Summary

This episode features an insightful conversation with Petr Janda, the CEO and founder of Synq. Petr shares his journey from being an engineer to founding Synq, emphasizing the importance of treating data systems with the same rigor as engineering systems. He discusses the challenges and solutions in data reliability, including the need for transparency and ownership in data systems. Synq's platform helps data teams manage incidents, understand data dependencies, and ensure data quality by providing insights and automation capabilities. Petr emphasizes the need for a holistic approach to data reliability, integrating data systems into broader business processes. He highlights the rol…

Summary

Data lakehouse architectures have been gaining significant adoption. To accelerate adoption in the enterprise Microsoft has created the Fabric platform, based on their OneLake architecture. In this episode Dipti Borkar shares her experiences working on the product team at Fabric and explains the various use cases for the Fabric service.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Data lakes are notoriously complex. For data engineers who battle to build and scale high quality data workflows on the data lake, Starburst is an end-to-end data lakehouse platform built on Trino, the query engine Apache Iceberg was designed for, w…

Summary

Stripe is a company that relies on data to power their products and business. To support that functionality they have invested in Trino and Iceberg for their analytical workloads. In this episode Kevin Liu shares some of the interesting features that they have built by combining those technologies, as well as the challenges that they face in supporting the myriad workloads that are thrown at this layer of their data platform.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Data lakes are notoriously complex. For data engineers who battle to build and scale high quality data workflows on the data lake, Starburst is an end-to-end …

Summary

Streaming data processing enables new categories of data products and analytics. Unfortunately, reasoning about stream processing engines is complex and lacks sufficient tooling. To address this shortcoming Datorios created an observability platform for Flink that brings visibility to the internals of this popular stream processing system. In this episode Ronen Korman and Stav Elkayam discuss how the increased understanding provided by purpose built observability improves the usefulness of Flink.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

This episode is supported by Code Comments, an original podcast from Red Hat. As someo…

Summary

Modern businesses aspire to be data driven, and technologists enjoy working through the challenge of building data systems to support that goal. Data governance is the binding force between these two parts of the organization. Nicola Askham found her way into data governance by accident, and stayed because of the benefit that she was able to provide by serving as a bridge between the technology and business. In this episode she shares the practical steps to implementing a data governance practice in your organization, and the pitfalls to avoid.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Data lakes are notoriously complex. F…

Summary

Any software system that survives long enough will require some form of migration or evolution. When that system is responsible for the data layer the process becomes more challenging. Sriram Panyam has been involved in several projects that required migration of large volumes of data in high traffic environments. In this episode he shares some of the valuable lessons that he learned about how to make those projects successful.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Data lakes are notoriously complex. For data engineers who battle to build and scale high quality data workflows on the data lake, Starburst is an end-to-en…

Summary

The purpose of business intelligence systems is to allow anyone in the business to access and decode data to help them make informed decisions. Unfortunately this often turns into an exercise in frustration for everyone involved due to complex workflows and hard-to-understand dashboards. The team at Zenlytic have leaned on the promise of large language models to build an AI agent that lets you converse with your data. In this episode they share their journey through the fast-moving landscape of generative AI and unpack the difference between an AI chatbot and an AI agent.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

This epis…

Summary

Building a data platform is a substrantial engineering endeavor. Once it is running, the next challenge is figuring out how to address release management for all of the different component parts. The services and systems need to be kept up to date, but so does the code that controls their behavior. In this episode your host Tobias Macey reflects on his current challenges in this area and some of the factors that contribute to the complexity of the problem.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

This episode is supported by Code Comments, an original podcast from Red Hat. As someone who listens to the Data Engineering Po…

Summary

Artificial intelligence has dominated the headlines for several months due to the successes of large language models. This has prompted numerous debates about the possibility of, and timeline for, artificial general intelligence (AGI). Peter Voss has dedicated decades of his life to the pursuit of truly intelligent software through the approach of cognitive AI. In this episode he explains his approach to building AI in a more human-like fashion and the emphasis on learning rather than statistical prediction.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Dagster offers a new approach to building and running data platforms and d…

Summary

Generative AI promises to accelerate the productivity of human collaborators. Currently the primary way of working with these tools is through a conversational prompt, which is often cumbersome and unwieldy. In order to simplify the integration of AI capabilities into developer workflows Tsavo Knott helped create Pieces, a powerful collection of tools that complements the tools that developers already use. In this episode he explains the data collection and preparation process, the collection of model types and sizes that work together to power the experience, and how to incorporate it into your workflow to act as a second brain.

Announcements

Hello and welcome to the Data Engineeri…

In this episode, Yev Meyer, Chief Scientist at Gretel AI, explores how synthetic data transforms AI and ML by improving data access, quality, privacy, and model training. Highlights include: - Leveraging synthetic data to overcome AI data limitations. - Enhancing model training while mitigating ethical and privacy risks. - Exploring the intersection of computational neuroscience and AI workflows. - Addressing licensing and legal considerations in synthetic data usage. - Unlocking private dat...

In this episode, Julia Neagu, CEO & co-founder of Quotient AI, explores the challenges of deploying Generative AI and LLMs, focusing on model evaluation, human-in-the-loop systems, and iterative development.Highlights include:- Merging reinforcement learning and unsupervised learning for real-time AI optimization.- Reducing bias in machine learning with fairness and ethical considerations.- Lessons from large-scale AI deployments on scalability and feedback loops.- Automating workflows wi...

In this episode, Sharon Zhou, Co-Founder and CEO of Lamini AI, shares her expertise in the world of AI, focusing on fine-tuning models for improved performance and reliability.Highlights include:- The integration of determinism and probabilism for handling unstructured data and user queries effectively.- Proprietary techniques like memory tuning and robust evaluation frameworks to mitigate model inaccuracies and hallucinations.- Lessons learned from deploying AI applications, including insigh...

In this episode, Shashank Rajput, Research Scientist at Mosaic and Databricks, explores innovative approaches in large language models (LLMs), with a focus on Retrieval Augmented Generation (RAG) and its impact on improving efficiency and reducing operational costs.Highlights include:- How RAG enhances LLM accuracy by incorporating relevant external documents.- The evolution of attention mechanisms, including mixed attention strategies.- Practical applications of Mamba architectures and their...

In this episode, Jure Leskovec, Co-founder of Kumo AI and Professor of Comuter Science at Stanford University, discusses Relational Deep Learning (RDL) and its role in automating feature engineering. Highlights include:- How RDL enhances predictive modeling.- Applications in fraud detection and recommendation systems.- The use of graph neural networks to simplify complex data structures.

На рынке искусственного интеллекта появился новый игрок. Китайская нейросеть DeepSeek сравнима по качеству с моделями OpenAI, Anthropic и Google, но на ее разработку потратили в десятки раз меньше. Вместе с Артемом Родичевым из стартапа Ex-Human разбираемся, как у DeepSeek это получилось, что это значит для лидеров индустрии и как отразится на обычных пользователях.6+. Реклама. АО «ПФ «СКБ Контур». ОГРН 1026605606620. 620144, Екатеринбург, ул. Народной Воли, 19А. erid: 2SDnjeQu4bvКонтур — IT-разработчик продуктовой экосистемы для бизнеса. О работе в компании: https://kontur.ru/s/a2os66jkСсылка на курс студии «Либо/Либо» по подкастам: https://course.libolibo.me/ Выпуск с участием Артема про …

Купить телефон с хорошим дизайном или возможностью скачать приложение банка? Это выбор, перед которым оказываются пользователи и у которого нет технических причин. Как приложения попадают в AppStore? Что свободнее: телефоны или компьютеры? И кто решает, как пользователям распоряжаться своими устройствами? Самат Галимов ищет ответы вместе с редакторкой подкаста Машей Агличевой.6+. Реклама. АО «ПФ «СКБ Контур». ОГРН 1026605606620. 620144, Екатеринбург, ул. Народной Воли, 19А. erid: 2SDnjbt4aGLКонтур — IT-разработчик продуктовой экосистемы для бизнеса. О работе в компании: https://kontur.ru/s/a2os66jkПодкаст «Это непросто»: https://pc.st/1437512522 Выпуск «Это непросто» про лимонады lapochka: …

Продуктовые решения больших площадок влияют на то, как мы общаемся с близкими, взаимодействуем с контентом и сами его создаем. Телеграм — уникальный продукт, в котором все такие решения принимаются одним человеком. Что в нем сделано иначе и как от этого меняется пользовательский опыт? Разбираемся вместе с Йованом Савовичем, создателем Лепрозория и dirty.ru.16+. Реклама. АО «ПФ «СКБ Контур». ОГРН 1026605606620. 620144, Екатеринбург, ул. Народной Воли, 19А. erid: 2SDnjeWaYMAКонтур — IT-разработчик продуктовой экосистемы для бизнеса. О работе в компании: https://kontur.ru/s/a2os66jk Ссылка на прошлый эпизод с Йованом: https://pc.st/e/28UiJE1hweX Слушайте бонусные эпизоды «Запуск++», а еще друг…

Запуск завтра возвращается с новыми эпизодами! 12-й сезон — о власти в цифровом пространстве. В первом выпуске Самат пытается проследить, как менялся интернет по мере прихода туда новых пользователей, больших технологических компаний и государств. Сбылись ли надежды его создателей? Кто на самом деле контролирует цифровое пространство? И есть ли место для технооптимизма в 2025 году? На эти вопросы помогает ответить Алёна Епифанова, исследовательница в германском Совете по международным отношениям.16+. Реклама. АО «ПФ «СКБ Контур». ОГРН 1026605606620. 620144, Екатеринбург, ул. Народной Воли, 19А. erid: 2SDnje73pCUКонтур — IT-разработчик продуктовой экосистемы для бизнеса. О работе в компании:…

«Запуску завтра» исполнилось пять лет! Неделю назад мы провели праздничную трансляцию, на которой обсудили, что происходило в самых горячих областях индустрии всё это время и куда движется мир технологий теперь. Помогали нам в этом гости наших прошлых эпизодов: Кирилл Пименов рассказал про блокчейн, Артем Родичев порассуждал про будущее искусственного интеллекта, а Ольга Нова — про виртуальную и дополненную реальность. Для тех, кто не смог к нам присоединиться — трансляцию можно послушать в записи в этом эпизоде. Спасибо, что вы с нами!Эпизоды «Запуска завтра» с Кириллом Пименовым и другими экспертами про блокчейн:Эпизод про NFT: https://pc.st/e/9Cx1gPfMK5yЭпизод про криптовалюты: https://p…

В конце ноября нашему подкасту исполняется ПЯТЬ лет. Мы очень благодарны, что вы все это время слушаете нас, и хотим отпраздновать пятилетие вместе! В четверг 28 ноября в 19:00 по Москве мы проведем праздничную трансляцию. Самат вместе с гостями будет обсуждать главные технологические события и открытия последних пяти лет: крипту, блокчейн, виртуальную реальность, искусственный интеллект, большие лингвистические модели. Мы расскажем про самые горячие темы из мира технологий, попробуем построить прогнозы на будущее и, конечно, дадим возможность вам задавать свои вопросы! Трансляция пройдет в телеграм-канале студии «Либо/Либо», которая выпускает этот подкаст. Подпишитесь, чтобы не пропустить:…

Это эпизод другого подкаста студии Либо/Либо — «На каком основании». В этом выпуске ведущая Полина Агаркова рассказывает историю о том, как Cambridge Analytica и Facebook поставили под угрозу весь демократический процесс в США и Великобритании. Другие эпизоды подкаста «На каком основании» можно послушать тут: https://podcast.ru/1735291623

Недавно мы закончили 11-й сезон подкаста, и нам очень интересно узнать, что вы думаете о нем и о подкасте в целом — что вам нравится, что не нравится и какие эпизоды вы бы хотели услышать в новом сезоне. Для этого мы подготовили небольшой опрос и очень просим вас его пройти. Это займет примерно 7 минут и поможет нам сделать «Запуск завтра» еще лучше. Ссылка на опрос: https://form.typeform.com/to/W2dUygOZ

Как технология для стабильной работы магазина книг стала основой половины интернета? Из-за чего мы начали покупать бесконечные подписки на приложения? Почему из-за сбоев на серверах одного интернет сервиса ложится все? В этом выпуске рассказываем про «облака»: как они возникли и поменяли наши привычки покупать вещи, смотреть кино, редактировать документы и играть в игры.Реклама. ООО «Яндекс» ИНН 7736207543Партнер этого эпизода — сервис Яндекс Образование. Участвуйте в Олимпиаде AIDAO для студентов бакалавриата и магистратуры. Регистрация открыта до 5 октября 2024 года. Все подробности и условия участия тут:https://cutt.ly/aeRKEQpv?erid=2SDnjdYhKWzЭпизод с разработчиком хромбуков: https://pc…

Кремниевая долина названа так в честь кремния в компьютерных процессорах. Полвека назад они были медленные и размером с квартиру, но с тех пор уменьшились в сотни и разогнались в миллиарды раз. Кажется, закон Мура перестаёт работать, а кремний как основа электроники уходит в прошлое. С чего все началось и что грядёт на смену? Это выпуск о компании Intel и ее заклятом друге AMD, о создании процессора и о безумной сложности производства компьютерных чипов.Реклама. ООО «Яндекс» ИНН 7736207543Партнер этого эпизода — Яндекс Образование. Учитесь и узнавайте новое вместе Журналом от Яндекс Образования: https://education.yandex.ru/journal?erid=2SDnjdbF76zВ этом эпизоде мы упоминаем другие выпуски н…

Как маргинальный хиппи подчинил себе мировой цифровой рынок? Почему из десятков стартапов, рожденных в гаражах Кремниевой Долины, выстрелил именно Apple? Как пережить изгнание из собственной компании, а потом триумфально вернуться в нее ещё более богатым, чем уходил? Наконец, как работало «поле искажения реальности», позволявшее создавать невозможное? В этом выпуске рассказываем историю IT-иконы и человека-мифа Стива Джобса и его корпорации Apple.Реклама. ООО «Яндекс» ИНН 7736207543Партнер этого эпизода — Яндекс. Приходите работать, а 12 сентября — отмечать День разработчика в осенний коворкинг Яндекса в Парке Горького: https://clck.ru/3Cjpx8erid=2SDnjbuMCprПоддержите студию «Либо/Либо» дон…

Гугл - главный поисковик нашего времени, с которым никто не может конкурировать. Однако, не так давно он был лишь одним из шести подобных стартапов, и в его успех никто не верил кроме двух 20-летних студентов которые совершенно случайно наткнулись на главный клад 21 века — поисковой трафик. О том, как сын советских евреев и его однокурсник по Стэнфорду изобрели способ найти что угодно за секунды, подмяли под себя интернет и столкнули с Олимпа непобедимого Билла Гейтса - третий эпизод нового сезона «Запуска завтра». Реклама. ООО «Яндекс» ИНН 7736207543Партнер этого эпизода — Яндекс. Приходите работать в осенний коворкинг Яндекса с 6 сентября по 4 октября: https://clck.ru/3Cjptb?erid=2SDnjdeA…

Билл Гейтс — одна из самых противоречивых фигур в истории IT. Как он победил самую влиятельную корпорацию своего времени и сам вырастил такого же IT-гиганта? Кому проиграл битву за Интернет? Наконец, правда ли его карьеру ускорила влиятельная мама? Второй эпизод нового сезона «Запуска завтра» — про технологического гиганта 90-х, компанию Microsoft, и ее создателя Билла Гейтса.***Реклама. ООО «Яндекс» ИНН 7736207543Партнер этого эпизода — Яндекс. Приходите на Practical ML Conf от Яндекса 14 сентября в Москве или онлайн: https://clck.ru/3CjqjB?erid=2SDnjcsfPcE ***Подробнее про курс «Как делать разговорные подкасты»:https://t.me/libolibocourses/18***В эпизоде мы упоминаем подкаст «Конкуренты» …

Чем разработка компьютера похожа на запуск ракеты на Луну? Легко ли быть сыном самого успешного человека на континенте? Как один мелкий пункт в договоре может выбить из гонки, которую ты сам же и начал?В первом эпизоде нового сезона «Запуска завтра» рассказываем о взлете и падении империи IBM, появлении персонального компьютера, зарождении Кремниевой Долины и о том, как стартаперы в майках с пятнами от пиццы становятся важнее топ-менеджеров в костюмах-тройках.***Реклама. АО «Точка» ОГРН: 1187746637143 ИНН 9705120864Партнер эпизода — финтех-компания Точка. Посмотреть, как устроена работа в Точке, можно тут: https://tchk.me/A1Ye0k?erid=2SDnjcys7Ja***Слушайте бонусы «Запуска завтра» по подписк…

Предварительная запись на офлайн-курс Learn Python в Москве — https://forms.gle/wE7Lit97U9Q2q3oT9 Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: Safe external debugger interface for CPython — https://peps.python.org/pep-0768/

результат опроса Facebook об аннотациях типов в Python — https://engineering.fb.com/2024/12/09...

возможность указывать SBOM-файлы в pyproject.toml — https://peps.python.org/pep-0770/

Сравнение Django и FastAPI — https://www.david-dahan.com/blog/comp...

предложение по добавлению выравнивания в PEP 8 — https://discuss.python.org/t/pep-8-mo... Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_pyt…

Спонсор подкаста: курсы по Python-разработке для тех, кто уже знаком с веб-разработкой — https://vk.cc/cADwoW Ведущие – Григорий Петров и Михаил Корнеев Обсудили в выпуске: Релиз Python 3.13 Top Python Libraries 2024 — https://tryolabs.com/blog/top-python-libraries-2024 Фичи для обеспечения безопасности PyPI (обязательный 2FA, trusted publishers) Релиз нового менеджера пакетов UV Завершение поддержки Python 3.8 Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python

Канал Moscow Python в Telegram — https://t.me/moscow_python

Все выпуски — https://podcast.python.ru

Митапы Moscow Python — https://moscowpython.ru

Предварительная запись на офлайн-курс Learn Python в Москве — https://forms.gle/wE7Lit97U9Q2q3oT9

Спонсор подкаста: курсы по Python-разработке для тех, кто уже знаком с веб-разработкой — https://vk.cc/cADwoW Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска Python сместил Javascript с первого места по используемости — https://github.blog/news-insights/octoverse/octoverse-2024/ PEP 750 – Template Strings — https://peps.python.org/pep-0750/ Эксперементальная поддержка partial validation в Pydantic 2.10 — https://pydantic.dev/articles/pydantic-v2-10-release#support-for-partial-validation-with-experimental_allow_partial PyPI теперь поддерживает цифровую сертификацию — https://blog.pypi…

Ведущие – Григорий Петров и Михаил Корнеев Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/

Спонсор подкаста: курсы по Python-разработке для тех, кто уже знаком с веб-разработкой — https://vk.cc/cADwoW Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска:

Python 3.13 — https://pythoninsider.blogspot.com/2024/10/python-3130-final-released.html Jacob Kaplan-Moss рассказал о финансах Django Software Foundation — https://jacobian.org/2024/oct/8/dsf-one-million/ PEP 735 — https://peps.python.org/pep-0735/ PEP 758 — https://peps.python.org/pep-0758/ PEP 761 — https://peps.python.org/pep-0761/ PEP 760 — https://peps.python.org/pep-0760/ Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Teleg…

Спонсор подкаста: курсы по Python-разработке для тех, кто уже знаком с веб-разработкой — https://vk.cc/cADwoW Ведущие – Никита Соболев и Михаил Корнеев

Новости выпуска: Релиз 3.13 перенесли на 7-е октября — https://discuss.python.org/t/incremental-gc-and-pushing-back-the-3-13-0-release/65285 Время перестать использовать 3.8 — https://pythonspeed.com/articles/stop-using-python-3.8/ Когда пора апргрейдиться до 3.13 — https://pythonspeed.com/articles/upgrade-python-3.13/ Python Developers Survey 2023 — https://lp.jetbrains.com/python-developers-survey-2023/ Большая дискуссия про uv в хвиторе — https://simonwillison.net/2024/Sep/8/uv-under-discussion-on-mastodon/ Каналы Никиты Соболева: https:/…

Спонсор подкаста: курсы по Python-разработке для тех, кто уже знаком с веб-разработкой — https://vk.cc/cADwoW Ведущие – Григорий Петров и Михаил Корнеев

Новости выпуска:

Вышла Django 5.1

Большой релиз uv PyPI снизили время реагировании на mailware до 24 часов

IEEE опубликовали очередной рейтинг популярности языков, python на первом месте Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru

Спонсор подкаста — https://learn.python.ru/advanced

Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: Утечка токена для полного доступа к GitHub-репозиториям проекта Python

Запущен сайт про nogil-питон

Python grapples with Apple App Store rejections

Вышел Polars 1.0 PEP 751 общий формал для lock-файлов зависимостей Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru

Спонсор подкаста — https://learn.python.ru/advanced

Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: Должен ли Python использовать календарную нумерацию версий Релиз NumPy 2.0

Как устроена инфраструктура работы с уязвимостями в Python

Современные практики для разработки на Python Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru

В этом выпуске встретились с Сергеем Яхницким и обсудили: Python в Яндекс.Такси

как в Яндексе организована разработка Python кода

как организован CI/CD

какие линтеры используют

борются ли как-то с использованием типов

используют ли в Яндексе ruff

про PiterPy

про поиск спикеров

что нравится Сергею в конференциях

Спонсор подкаста: продвинутые курсы для разработчиков — https://vk.cc/cxi9FL

Ведущие – Григорий Петров и Михаил Корнеев https://github.com/sobolevn/ship-it-b... - настолка от Никиты / @sobolevn — видео от Никиты

Спонсор подкаста — https://learn.python.ru

CFP PiterPy — https://piterpy.com/callforpapers/

Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: Вышла бета python 3.13

Django Developers Survey 2023

Django Enhancement Proposal: Background Workers

Fake job interviews target developers with new Python backdoor

Как выбирают доклады на EuroPython Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru

Спонсор подкаста — https://learn.python.ru

Python Day на Positive Hack Days — https://bit.ly/phd-mpp Ведущий – Григорий Петров Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru

Спонсор подкаста — https://learn.python.ru

Python Day на Positive Hack Days — https://bit.ly/phd-mpp Ведущие – Григорий Петров и Валентин Домбровский Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru

Информация о зарплатах в компаниях чаще всего скрыта; в лучшем случае известны вилки. При этом зарплата — это одна из главных метрик, по которой сотрудник оценивается работодателем. Но если зарплаты закрыты, можно ли быть уверенным в справедливом распределении фонда оплаты труда? И возможна ли вообще справедливость в таких условиях? Некоторые компании решаются на радикальный шаг — открывают информацию о зарплатах для всех сотрудников. Зачем они это делают? Какие плюсы и риски несет эта практика? Включайте выпуск! В гостях — Антон Бевзюк, который рассказал об опыте внедрения открытых зарплат на примере MindBox. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegra…

В этом выпуске мы погружаемся в мир секстеха вместе с Таней Дмитриевой — секс-просветительницей, предпринимательницей и терапевткой. Обсуждаем, какие инновации уже существуют: от виртуальных партнеров и AI до теледильдоники и иммерсивного опыта. Разбираемся, как развивается рынок секс-игрушек, какие приложения помогают в планировании сексуальной жизни и чем сексологи отличаются от классических психотерапевтов. Ну и конечно говорим о будущем индустрии, вопросах этики, цензуры и маркетинга. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ T…

Снова в гостях Артем Зиннатуллин и снова трехчасовой хронометраж, а что это значит? Все верно – это вторая часть выпуска про релокацию в США! Как никогда вовремя: в стране большие перемены, и совершенно непонятно, что это значит для релокантов. Поговорили и про это, и про бытовые нюансы, начиная от жилья и налогов, и заканчивая автомобилями. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Женя Кателла, Аня Симонова Полезные ссылки: Твиттер Артема

https://x.com/abstra…

Смена профессии в IT – сложный, но увлекательный процесс, который прошел каждый из ведущих Podlodka. В этом выпуске обсуждаем личные истории переходов, стандартные треки смены ролей и мотивацию, которая движет такими решениями. Разбираем, как грамотно организовать внутренний или внешний переход, подготовить резюме, избежать ошибок и не сжечь мосты. Делимся лайфхаками как прокачиваться для новой роли без рабочих задач, а уже после перехода преодолевать синдром самозванца и справляться с трудностями на новом месте. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.fac…

Одно из самых айтишных хобби – селфхостинг. Вместо того, чтобы полагаться на ненадежных облачных провайдеров, которые могут вас забанить в любой день по цвету паспорта, перед этим случайно слив ваши приватные данные, вы поднимаете свой собственный домашний сервер и разворачиваете на нем все, что нужно для комфортной жизни. Роман Богданов, инженер с огромным опытом системного администрирования и селфхостинга, рассказал нам о том, как правильно вкатиться в селфхостинг и собрать свой сетап. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Tw…

Как разобраться в мире современных подходов к питанию и не потеряться среди популярных диет, инста-советов и исследований? В этом выпуске мы поговорили с Марией Кардаковой — ученым-нутрициологом, которая живет и работает в Великобритании, руководит IT-стартапом по планированию меню и продвигает доказательный подход к здоровому питанию. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka

Telegram-канал: https://t.me/podlodkanews

Страница в Facebook: https://facebook.com/podlodkacast/

Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Екатерина Петрова, Стас Цыганов, Аня Симонова Полезные ссылки:

Профессиональный с…

Это запись нашего новогоднего стрима 🎅🏼 Выходить в прямой эфир перед новым годом — наша давняя, любимая традиция! На стриме мы подводим итоги года, обсуждаем любимые выпуски, отвечаем на вопросы слушателей, делимся открытиями, достижениями и провалами года. Ну и как же без новогоднего чуда? Традиционно, мы устроили квиз среди зрителей лайва на знание лора вселенной Подлодки. Если хотите посмотреть, как прошел квиз, а так же заценить наши новогодние наряды — приглашаем посмотреть запись стрима на YouTube: https://www.youtube.com/watch?v=9t_kb1-z7ag Всех с новым годом! Спасибо, что были с нами в 2024, и до встречи в 2025 ❤️ Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсе…

Что общего у скорости вычислений, мутабельности, кеширования и исключений? Все это – сайд-эффекты, которые сопровождают результаты вычислений. Виталий Брагилевский показал нам невероятно прекрасную картину, которая открывается, если рассматривать все возможные эффекты как часть одной системы – программирование становится более простым, контролируемым и выразительным! Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Катя Петрова, Егор Толстой Полезные ссылки: Книга про…

Продолжаем серию выпусков о кроссплатформенной разработке под десктоп! На этот обозреваем сразу два фреймворка – JavaFX и Swing, а чтобы было честно, мы пригласили двух экспертов: Михаила Соколова, Platform UI разработчика из JetBrains, и Кирилла Кириченко, который занимался разработкой Swing/JavaFX еще в Sun/Oracle. Вместе с гостями мы не только заглянем в кишочки каждого из фреймворков, но и обсудим их прикладные аспекты. Разберемся, как так получилось, что в Java-экосистеме существуют сразу два конкурирующих решения для разработки UI, попробуем понять, кто все таки победил, или оба фреймворка пора запокать. В выпуске много технических деталей, клевых фактов из истории развития экосистемы…

Когда продукт уже устоялся, перед командой встает задача масштабирования и поиска новых направлений для роста. В этом выпуске мы поговорили с Анной Булдаковой — фаундером No flame no game и Meander, ex Meta & Intercom. Обсудили, как понять, что продукт “работает нормально”. Разобрались, что важнее: привлекать новых пользователей или глубже решать проблемы текущей аудитории. Поговорили о том, почему роадмап не всегда отражает пользовательские метрики. Также обсудили, как меняются процессы и работа со стейкхолдерами на этапе масштабирования. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews С…

А что, если взять SQL, добавить к нему всякие расширения, чтобы было проще писать бизнес-логику, и максимально тесно интегрировать с конкретной базой данных? Получится PL/SQL! Обсуждаем в выпуске сам язык, а также экосистему Oracle, в которую он тесно внедрен. А в гостях у нас Иван Дубашинский. Партнер эпизода — экосистема Контур. Это сервисы для бизнеса, на которых работает каждая третья компания России. 2000+ разработчиков развивают продукты и инфраструктурные решения на C# под .NET, Python, Java, Go. В разных проектах всегда находятся вызовы, поэтому сотрудники могут строить свой карьерный трек и перемещаться между командами, чтобы наращивать опыт и контекст. Узнать больше о технологиях …

Друзья, встречайте наш юбилейный 400-й выпуск! 🎉 Мы посвятили этот особенный эпизод темам, которые волнуют каждого слушателя и слушательницу: разбираем проблемы и страхи IT-индустрии и обсуждаем, как с ними бороться. Поговорим о том, есть ли недостаток фундаментальных знаний и грозит ли нам полная монополизация технологий. Порассуждаем о том, как бороться с тем, что желание краткосрочной выгоды в индустрии все чаще преобладает над смыслом работы. Обсудим страхи увольнения, экономического спада, замену человека искусственным интеллектом, а также проблему выгорания. Мы не смогли выбрать одного гостя для такой масштабной темы, поэтому собрали комментарии сразу шести!!! ваших любимых экспертов:…

А вот и финальная часть нашего гайда по качалке! В этот раз обсудили, нужна ли специальная диета для силовых тренировок и какие ключевые рекомендации по питанию стоит учесть. Разобрали, как и зачем считать калории, сколько белка нужно есть, откуда его брать и какие есть лайфхаки. Поговорили о том, стоит ли отказываться от каких-то продуктов, действительно ли быстрые углеводы — зло, и как вписать пиво в вашу диету. Бонусом разобрали тему травм и проблем со здоровьем: какие заболевания являются противопоказаниями, а при каких силовые тренировки могут помочь. Как и в предыдущих 2-х частях вас ждут концентрированные знания от Станислава Цаллагова, приправленные шутейками, а также личными истори…

Наконец-то выпуск про релокацию не на какой-то там очередной остров, а в Соединенные Штаты Америки! Тема обширная, так что обсудили не все, но подняли много непростых тем – визы и легализацию, безопасность и владение оружием, медицину и страховки. А в гостях у нас уже дважды релокант в США – Артем Зиннатуллин! 18 ноября стартует новый сезон Podlodka Java Crew. Тема сезона – "Асинхронная архитектура"! По промокоду JAVA_STREAM скидка на билеты. Полная программа и подробности – на сайте https://podlodka.io/javacrew Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.face…

Александр Мерзликин — основатель стартапа Sleeptery, который предлагает игровой подход для улучшения сна.Support the showApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

Надежда Бей — VR-художница и резидент фиджитал галереи Охра.Канал Нади: https://t.me/irrealartКанал Охры: https://t.me/phygitalgalleryПолезные книги:Ната Покровская и Антон Уткин: Белое зеркало. Учебник по интерактивному сторителлингу в кино, VR и иммерсивном театре.Cyane Tornatzky, Brendan Kelley "An Artistic Approach to Virtual Reality"Curtis Hickman "Hyper-reality: The art of designing impossible experiences"Кристиана Пол "Цифровое искусство"Support the showApplePodcasts: https://apple.co/...

Никита Калинин — Associate Professor в Технионе в Гуанджоу и автор канала Tropical Saint-Petersburg. Мы поговорили с ним про Петебругскую математику и математиков.Support the showApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

Елена Доброхотова — сооснователь стартапа Not Yet. Мы поговорили с ней о рынке медицинских носимых устройств, о здоровье и старении.Support the showApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

Игорь Кузьмичёв исследует "вторую культуру" Ленинграда и ведёт телеграм-канал "Здесь был Майк" Telegram: t.me/mikewashereSupport the showApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

Геннадий Асиньяров — кандидат биологических наук, участник проекта БИОС-3 в рамках которого исследовались возможности замкнутых систем жизнеобеспечения. Такие системы гипотетически могли бы использоваться для колонизации Марса.Геннадий Захарович также один из создателей методики НООГЕН. Книга: https://shorturl.at/vC2vwSupport the showApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

Сергей Нурк руководит командой разработки биоинформатических инструментов в Oxford Nanopore technologies.Support the showApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

Александр Гечис разрабатывает алгоритмы для немецкого стартапа Kopernikus Automotive. Благодаря работе Александра автомобили сами могут перемещаться по фабрике от цеха к цеху в процессе производства.Support the showApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

Артём Родичев — основатель и CEO стартапа ex-Human. ex-Human создаёт искусственный интеллект, способный поддерживать беседу на любую, даже очень личную, тему.Ex-human AI: https://exh.ai/Support the Show.ApplePodcasts: https://apple.co/2Psx8yd GooglePodcasts: https://shorturl.at/finK1 Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

Наталия Шагарина — серийная предпринимательница. Её новый стартап Аврора - виртуальный помощник для семей. Аврора помогает координировать расписание и справляться с рутиной, осовобождая силы и время, - чтобы все могли заниматься самым важным.Support the Show.ApplePodcasts: https://apple.co/2Psx8yd GooglePodcasts: https://shorturl.at/finK1 Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

19 февраля (по старому стилю) или 3 марта (по новому) 1861 года в Российской Империи указом императора Александра Второго отменили крепостное право.Это вторая серия двухсерийного разговора. Сегодня мы говорим с историком Иваном Куриллой, специалистом по русско-американским отношениям о схожем и различном между рабством в США и крепостничеством в России.Support the Show.ApplePodcasts: https://apple.co/2Psx8yd GooglePodcasts: https://shorturl.at/finK1 Я.Музыка: https://clck.ru/JJB8yПатрео...

19 февраля (по старому стилю) или 3 марта (по новому) 1861 года в Российской Империи указом императора Александра Второго отменили крепостное право.Это первая серия двухсерийного разговора. Сегодня мы говорим с историком Владимиром Коршаковым, автором канала Русские Летописи про то, как древнерусский человек понимал понятия "воля" и "свобода".Ютуб Владимира: @letopisirus Телеграм: https://t.me/letopisi_rusТвиттер: https://twitter.com/letopisi_rusSupport the Show.ApplePodcasts: htt...

Topics include content-types package, Wagtail 6.4, Build It Yourself, and Build backend popularity over time.

Topics include In memoriam: Michael Foord 1974-2025, Valkey Replacement), 30 best practices for software development and testing, and mimetype.io.

Topics include LLM Catcher, , RESPX, and Unpacking kwargs with custom objects.

Topics include , Winloop, , and uv-secure.

Topics include dbos-transact-py, Typed Python in 2024: Well adopted, yet usability challenges persist, RightTyper, and Lazy self-installing Python scripts with uv.

Topics include New project to shorten django-admin to django because we are not monsters, django-unicorn sparkles, Testing some tidbits, and The State of Python 2024 article.

Topics include jiter, A new home for python-build-standalone, moka-py, and uv: An In-Depth Guide.

Topics include Loop targets, asyncstdlib, Bagels: TUI Expense Tracker, and rloop:

Topics include Talk Python rewritten in Quart, PyPI now supports digital attestations, Django Rusty Templates, and PEP 639 is now supported by PYPI.

Topics include Thoughts on Django’s Core, futurepool, Don't return named tuples in new APIs, and Ziglang: Migrating from AWS to Self-Hosting.

Topics include terminal-tree, posting: The API client that lives in your terminal, , and UV does everything or enough that I'm not sure what else it needs to do.

Topics include GitHub action security: zizmor, Python is now the top language on GitHub, Python 3.13, what didn't make the headlines, and PyCon US 2025.

Topics include Python 3.14.0 alpha 1 is now available, uv supports dependency groups, dive: A tool for exploring each layer in a docker image, and pytest-metadata.

Topics include Open Source Pledge, DjangoTV, PEP 735 – Dependency Groups in pyproject.toml, and livereload.

Subsea cables are high-capacity fiber-optic lines laid along the ocean floor to enable global communication by transmitting data between continents. Spanning thousands of miles, they carry an estimated 95% of international internet, phone, and data transmissions. Critically, these cables are vulnerable to sabotage by state actors, as they form critical infrastructure for global communication and

The post The Subsea Cable Network with Josh Dzieza appeared first on Software Engineering Daily.

LangChain is a popular open-source framework to build applications that integrate LLMs with external data sources like APIs, databases, or custom knowledge bases. It’s commonly used for chatbots, question-answering systems, and workflow automation. Its flexibility and extensibility have made it something of a standard for creating sophisticated AI-driven software. Erick Friis is a Founding Engineer

The post LangChain and Agentic AI Engineering with Erick Friis appeared first on Software Engineering Daily.

BlackBerry is a Canadian company known for its pivotal role in the smartphone market during the 2000s. Today, BlackBerry has adopted a major focus on cybersecurity. John Wall is SVP and Head of BlackBerry QNX, overseeing engineering, product and operations. Ismael Valenzuela is Vice President of Threat Research and Intelligence at BlackBerry, where he leads

The post Secure Communications in Embedded Systems with Ismael Valenzuela and John Wall appeared first on Software Engineering Daily.

Caves of Qud is a roguelike game set in a richly detailed, post-apocalyptic world blending science fiction and fantasy. The game is known for its deep lore, emergent gameplay, and wildly creative character customization. It is a massive indie success, and recently hit a major milestone with the release of version 1.0 after 15 years

The post Caves of Qud with Brian Bucklew appeared first on Software Engineering Daily.

Compute optimization in a cloud environment is a common challenge because of the need to balance performance, cost, and resource availability. The growing use of GPUs for workloads, including AI, is also increasing the complexity and importance of optimization given the relatively high cost of GPU cloud computation. Jerzy Grzywinski is a Senior Director of

The post Maximizing Cloud Efficiency with Jerzy Grzywinski and Brent Segner appeared first on Software Engineering Daily.

Docker container vulnerability analysis involves identifying and mitigating security risks within container images. This is done to ensure that containerized applications can be securely deployed. Vulnerability analysis can often be time intensive, which has motivated the use of AI and ML to accelerate the process. NVIDIA Blueprints are reference workflows for agentic and generative AI

The post NVIDIA’s Agentic AI for Container Security with Amanda Saunders and Allan Enemark appeared first on Software Engineering Daily.

Raylib is a lightweight, beginner-friendly, and open-source C library for game development, known for its simplicity and lack of external dependencies. It’s designed to streamline the creation of 2D and 3D games, and has an intuitive API for managing graphics, audio, and input. Ramon Santamaria is the Founder and Lead Developer of Raylib. He joins

The post The Raylib C Library for Game Development with Ramon Santamaria appeared first on Software Engineering Daily.

Anduril is a technology defense company with a focus on drones, computer vision, and other problems related to national security. It is a full-stack company that builds its own hardware and software, which leads to a great many interesting questions about cloud services, engineering workflows, and management. Gokul Subramanian is Senior Vice President of Engineering

The post Anduril with Gokul Subramanian appeared first on Software Engineering Daily.

QuantStack is an open-source technology software company specializing in tools for data science, scientific computing, and visualization. They are known for maintaining vital projects such as Jupyter, the conda-forge package channel, and the Mamba package manager. Sylvain Corlay is the CEO of QuantStack. He joins the podcast to talk about his company, Conda, Mamba, the

The post Mamba and Software Package Security with Sylvain Corlay appeared first on Software Engineering Daily.

Ableton is a music software and hardware company based in Germany. The company develops Ableton Live which is a digital audio workstation for both improvisation and traditional arrangements. The software is remarkable for successfully blending good UI design with a powerful feature set. This has made it popular with new musicians as well as professionals

The post Ableton Live with Tobias Hahn appeared first on Software Engineering Daily.

beeps is a startup focused on building an on-call platform for Next.js. The company is grounded in the key insight that Next.js has become a dominant framework for modern development. A key motivation in leveraging Next.js is to create a developer-first experience for on-call. Joey Parsons is the founder and CEO of beeps, and he

The post beeps and on-call for Next.js developers with Joey Parsons appeared first on Software Engineering Daily.

Digital forensics is the process of identifying, preserving, analyzing, and presenting electronic data for investigative purposes. It’s often related to addressing cybercrime and is crucial in tracing the origin of breaches, recovering lost data, and security hardening. Emre Tinaztepe is the Founder and CEO of Binalyze which is a cybersecurity company specializing in digital forensics

The post Digital Forensics with Emre Tinaztepe appeared first on Software Engineering Daily.

Fallout: London is a 2024 total conversion mod developed by Team FOLON. The mod is based on Fallout 4 by Bethesda Softworks and takes place in a post-apocalyptic rendition of London. The project is remarkable for its ambition and scope, with the small indie team delivering a fully-realized open world RPG. Daniel Morrison Neil led

The post Fallout: London with Daniel Morrison Neil and Jordan Albon appeared first on Software Engineering Daily.

Heroku is a cloud platform-as-a-service that enables developers to build, deploy, and manage applications. It was founded in 2007 and was acquired by Salesforce in 2010. The platform supports multiple programming languages, including Ruby, Python, Node.js, and Java, and has features such as automated scaling, database monitoring tools, and a streamlined deployment workflow. Vish Abrams

The post Heroku and the Twelve-Factor App with Vish Abrams appeared first on Software Engineering Daily.

-=Выпуск 78=- 22 декабря — самое время для публикации первого выпуска года:) Но так уж сложилось. Зато выпуск рекордный не только по задержке, но и по длительности: почти 2 часа. И каких! Большую часть этого времени говорил Ваня, мы встретились в подкасте через полтора года после прошлого разговора, где он много провидческих (как мы смогли убедиться) слов произнес про ИИ, про любимые им горячо языковые модели и про будущее. Мы не стали менять сюжет :)) Ссылка по теме —

When to use it While this is useful in many contexts, and its usage triggered the wide excitement about using LLMs, it has some significant shortcomings.

While this approach involves evaluating with an LLM, using a different LLM helps address some of the issues of self-evaluation.

While this approach involves evaluating with an LLM, using a different LLM helps address some of the issues of self-evaluation.

The common approach is to build an index to the documents using embeddings, then use this index to search the documents.

This is even more apparent with using LLMs, where rephrasing a question often leads to significantly different answers.

When to use it While this is useful in many contexts, and its usage triggered the wide excitement about using LLMs, it has some significant shortcomings.

While this approach involves evaluating with an LLM, using a different LLM helps address some of the issues of self-evaluation.

While this approach involves evaluating with an LLM, using a different LLM helps address some of the issues of self-evaluation.

However, for vector search on description we have to explicitly add an additional field to store its corresponding embedding.

This is even more apparent with using LLMs, where rephrasing a question often leads to significantly different answers.

All four papers revolve around a singular challenge: building ever-larger language models with minimal cost, memory overhead, and training instability.

Emergent Reasoning: In R1, large-scale Reinforcement Learning (RL) unlocks advanced chain-of-thought capabilities, culminating in “R1-Zero” and its purely RL-driven approach to reasoning tasks.

DeepSeek-R1: Reinforcement Learning for Deeper Reasoning It's worth noting that both DeepSeek R1 and DeepSeek R1-Zero are architecturally identical to DeepSeek V3 (but uses the “only-pretrained” base version).

This led them to DeepSeek-R1: an alignment pipeline combining small cold-start data, RL, rejection sampling, and more RL, to “fill in the g…

When to use it While this is useful in many contexts, and its usage triggered the wide excitement about using LLMs, it has some significant shortcomings.

While this approach involves evaluating with an LLM, using a different LLM helps address some of the issues of self-evaluation.

While this approach involves evaluating with an LLM, using a different LLM helps address some of the issues of self-evaluation.

The common approach is to build an index to the documents using embeddings, then use this index to search the documents.

While model context lengths are increasing, current research indicates that accuracy diminishes with larger prompts.

was on a panel at goto Copenhagen last September with Holly Cummings, Trisha Gee, Dave Farley, and Daniel Terhorst-North. We discussed the current state of software development and where it was heading. Given the timing, there was much discussion about the role AI would play in our profession's future.

more…

When to use it While this is useful in many contexts, and its usage triggered the wide excitement about using LLMs, it has some significant shortcomings.

While this approach involves evaluating with an LLM, using a different LLM helps address some of the issues of self-evaluation.

While this approach involves evaluating with an LLM, using a different LLM helps address some of the issues of self-evaluation.

An embeddings model can take several pages of text, and convert them into a vector space for comparison.

The common approach is to build an index to the documents using embeddings, then use this index to search the documents.

When to use it While this is useful in many contexts, and its usage triggered the wide excitement about using LLMs, it has some significant shortcomings.

While this approach involves evaluating with an LLM, using a different LLM helps address some of the issues of self-evaluation.

While this approach involves evaluating with an LLM, using a different LLM helps address some of the issues of self-evaluation.

The common approach is to build an index to the documents using embeddings, then use this index to search the documents.

While model context lengths are increasing, current research indicates that accuracy diminishes with larger prompts.

The Forest and the Desert is a metaphor for thinking about software development processes, developed by Beth Anders-Beck and her father Kent Beck.

The desert is the common world of software development, where bugs are plentiful, skill isn't cultivated, and communications with users is difficult.

It is possible to change Desert into Forest, but it's difficult - often requiring people to do things that are both hard and counter-intuitive.

In this framing I'm definitely a Forest Dweller, and seek with Thoughtworks to cultivate a healthy forest for us and our clients.

I work to explain The Forest to Desert Dwellers, and help my fellow Forest Dwellers to make their forest even more plentiful.

As we move software products using generative AI technology from proof-of-concepts into production systems, we are uncovering a range of common patterns.

The pattern description ends with “✣ ✣ ✣”These patterns are our attempt to understand what we have seen in our engagements.

Running the Evals As with testing, we run evals as part of the build pipeline for a Gen-AI system.

An embeddings model can take several pages of text, and convert them into a vector space for comparison.

Embeddings in LLM LLMs are specialized neural networks known as Transformers.

As we move software products using generative AI technology from proof-of-concepts into production systems, we are uncovering a range of common patterns.

Large Language Models need enhancement to provide information beyond a generic and static training set.

While this approach involves evaluating with an LLM, using a different LLM helps address some of the issues of self-evaluation.

While this approach involves evaluating with an LLM, using a different LLM helps address some of the issues of self-evaluation.

Human evaluation: Vibe checking is a technique to evaluate if the LLM responses match the desired tone, style, and intent.

We start the new podcast season with a bang, by hosting Martin Fowler!

With Martin we talked about:🤖 The Impact of AI on Software Development — from the dev process, to how human learning and understanding changes, to the future of engineering jobs.

Here is the agenda:🤖 AI's Impact on Software Development (05:05) 🌱 Growing Developers and Learning (14:17) 🏦 Understanding and Managing Technical Debt (26:03) 🌲 The Forest vs.

The Desert: Agile Practices Today (36:37) 📏 Measuring Engineering Effectiveness (45:21)Let's dive in 👇1) 🤖 AI's Impact on Software Development ( 05:05 )Martin shares his views on how AI is influencing software development, emphasizing that it's still early days and the tec…

By using Abstract Syntax Trees (AST), codemods allow you to automate large-scale code changes with precision and minimal effort, making them especially useful when dealing with breaking API changes.

A codemod (code modification) is an automated script used to transform code to follow new APIs, syntax, or coding standards.

Codemods can also handle complex refactoring scenarios, such as changes to deeply nested structures or removing deprecated API usage.

Codemods Improve Code Quality and Maintainability Codemods aren’t just useful for managing breaking API changes—they can significantly improve code quality and maintainability.

Codemods in Other Languages While the examples we’ve explored so…

By using Abstract Syntax Trees (AST), codemods allow you to automate large-scale code changes with precision and minimal effort, making them especially useful when dealing with breaking API changes.

A codemod (code modification) is an automated script used to transform code to follow new APIs, syntax, or coding standards.

Codemods can also handle complex refactoring scenarios, such as changes to deeply nested structures or removing deprecated API usage.

With jscodeshift, you can write tests to verify how the codemod behaves: const transform = require("../remove-feature-new-product-list"); defineInlineTest( transform , {}, ` const data = featureToggle('feature-new-product-list') ?

Codemods I…

Ao Mar by Ão sample track: Mulher Ão is a four-piece band from Belgium that have blended the otherworldly vocals of Brenda Corijn with trip-hop electronica.

Future Forecast by Jack Magnet Science sample track: Extra Polation Iceland has given the world a few quirky musical innovators, unafraid to push into new territories.

The result is distinctly a horn-led jazz sound, inspired by Ornette Coleman, with solid melodic sense and a finish that's vaguely unsettling.

I've enjoyed it more Indian musical traditions mesh with western ones, and I've found several good examples of that in jazz.

MRA by Emel sample track: Lose my Mind Emel is a Tunisian singer whose fame rose from her protest songs du…

Эмодзи-пак с текстовыми реакциями для телеграма.

Осваиваем многозадачное программирование на практике.

Тут прям детективная история приключилась.

В Go есть таймер (тип Timer ), а в нем — поле с каналом ( Timer.C ), в который таймер тикает спустя указанное время.

В коде стдлибы таймер создается так:Такая реализация привела к проблемам с time.After и Reset , от которых многие страдали.

И вот в Go 1.23 решили это исправить, для чего сделали канал в таймере небуферизованным:Вот только если вы посмотрите на фактический код, то канал-то остался буферизованным 😁Из комментариев к коммиту выясняется, что канал действительно остался буферизованным, но притворяется, что никакого буфера у него нет:Specifically, the timer channel has a 1-element buffer like it always has, but len(t.C) and cap(t.C) are sp…

Меняем емкость при нарезке.

Чем отличаются и как с ними работать.

Сколько можно запустить горутин и от чего это зависит.

Несколько приемов форматирования, о которых вы, возможно, не слышали.

➊ Закавыченная строкаИспользуйте %q , чтобы вывести строковое значение в кавычках.

➋ Названия полей структурыИспользуйте %+v , чтобы вывести названия полей структуры, а не только значения.

➌ Тип значенияИспользуйте %T , чтобы вывести тип значения.

В Go 1.23 (август 2024) появится цикл range по функциям.

Сделали ему конструктор и метод Set :Хорошо, а как теперь итерироваться по карте?

Стоило ли оно тогоСтоило ли добавлять в язык range-over-func?

С появлением дженериков в 1.18 по простоте языка был нанесен серьезный удар (вероятно, оправданный).

Ждут нас и корутины, и стримы, и паттерн-матчинг.

Урок по дженерикам в Go.

Раз уж мы заговорили о пустых значениях — вы же в курсе, что метод можно вызвать даже на пустом указателе?

type english struct { name string } // e может быть nil!

func ( e * english ) greet () { if e == nil { fmt .

Println ( "I'm nil" ) return } fmt .

Println ( "Hello" , e . name ) }

Интерфейсы и nil в GoВнутри Go переменная типа interface представлена как пара (type, value) , где value — конкретное значение, а type — тип этого значения (на самом деле все чуть сложнее, но совсем уж в дебри не будем погружаться).

Пока интерфейсной переменной не присвоено значение, у нее и type , и value равны nil , поэтому сама переменная считается равной nil :var ivar any // type == nil, value == nil // поэтому ivar == nil fmt .

Println ( ivar == nil ) // trueНо как только интерфейсной переменной присвоили значение, type перестает быть nil .

Println ( e == nil ) // true ivar = e // type == *english, value == nil // поскольку type != nil, то ivar != nil fmt .

Println ( ivar == nil ) // f…

Я начинаю серию коротких заметок о полезных функциях современного SQLite, про которые вы (возможно) не слышали.

Как вы наверняка знаете, SQLite обладает гибкой системой типов (за что некоторые даже называют его «джаваскриптом в мире СУБД»).

Вы можете хранить любые значения в столбцах любых типов: например, строки в INTEGER-столбце или бинарные данные в REAL-столбце.

Кто-то любит SQLite за эту гибкость, другие ненавидят за нее же.

Поэтому в какой-то момент авторы SQLite добавили «строгие» (STRICT) таблицы:Они проверяют типы так же, как традиционные СУБД вроде PostgreSQL или MySQL:Даже в строгой таблице можно объявить столбец как ANY — тогда в нем можно хранить значения любых типов.