How Airbnb uses data-driven segmentation to understand supply availability patterns.By: Alexandre Salama, Tim AbrahamIntroductionAt Airbnb, our supply comes from hosts who decide to list their spaces on our platform. Unlike traditional hotels, these spaces are not all interchangeable units in a building that are available to book year-round. Our hosts are people, with different earnings objectives and schedule constraints — leading to different levels of availability to host. Understanding these differences is a key input into how we develop our products, campaigns, and operations.Over the years, we’ve created various ways to measure host availability, developing “features” that capture dif…

How Airbnb built a stream processing platform to power user personalization.By: Kidai Kwon, Pavan Tambay, Xinrui Hua, Soumyadip (Soumo) Banerjee, Phanindra (Phani) GantiOverviewUnderstanding user actions is critical for delivering a more personalized product experience. In this blog, we will explore how Airbnb developed a large-scale, near real-time stream processing platform for capturing and understanding user actions, which enables multiple teams to easily leverage real-time user activities. Additionally, we will discuss the challenges encountered and valuable insights gained from operating a large-scale stream processing platform.BackgroundAirbnb connects millions of guests with unique …

Boosting computer vision accuracy and performance at AirbnbBy: Pei Xiong, Aaron Yin, Jian Zhang, Lifan Yang, Lu Zhang, Dean ChenIntroductionIn recent years, the integration of artificial intelligence with travel platforms has transformed how people search for and book accommodations. As a leading global marketplace for unique travel experiences and accommodations, Airbnb constantly strives to enhance the guest experience by providing informative content about the variety of homes shared by our hosts. One of the ways we help guests better understand what a listing offers before they book is through our AI-powered photo tour feature.The AI-powered photo tour in the Listings tab, which helps h…

How and Why We Migrated Airbnb’s Large-Scale Web Monorepo to BazelBy: Brie Bunge and Sharmila JesupaulIntroductionAt Airbnb, we’ve recently adopted Bazel — Google’s open source build tool–as our universal build system across backend, web, and iOS platforms. This post will cover our experience adopting Bazel for Airbnb’s large-scale (over 11 million lines of code) web monorepo. We’ll share how we prepared the code base, the principles that guided the migration, and the process of migrating selected CI jobs. Our goal is to share information that would have been valuable to us when we embarked on this journey and to contribute to the growing discussion around Bazel for web development.Why did …

How Airbnb leverages machine learning and reinforcement learning techniques to solve a unique information retrieval task in order to provide guests with unique, affordable, and differentiated accommodations around the world.By: Dillon Davis, Huiji Gao, Thomas Legrand, Weiwei Guo, Malay Haldar, Alex Deng, Han Zhao, Liwei He, Sanjeev KatariyaIntroductionAirbnb has transformed the way people travel around the globe. As Airbnb’s inventory spans diverse locations and property types, providing guests with relevant options in their search results has become increasingly complex. In this blog post, we’ll discuss shifting from using simple heuristics to advanced machine learning and reinforcement le…

How Airbnb’s conversational AI platform powers LLM application development.By Chutian Wang, Zhiheng Xu, Paul Lou, Ziyi Wang, Jiayu Lou, Liuming Zhang, Jingwen Qiang, Clint Kelly, Lei Shi, Dan Zhao, Xu Hu, Jianqi Liao, Zecheng Xu, Tong ChenIntroductionArtificial intelligence and large language models (LLMs) are a rapidly evolving sector at the forefront of technological innovation. AI’s capacity for logical reasoning and task completion is changing the way we interact with technology.In this blog post, we will showcase how we advanced Automation Platform, Airbnb’s conversational AI platform, from version 1, which supported conversational systems driven by static workflows, to version 2, whic…

Airbnb made it easy to bring data/AI ideas to life through a platform for prototyping web applications.By: Dan MillerWarm, friendly beach capturing the playful nature of prototyping.IntroductionTrustworthy data has always been a part of Airbnb’s technical DNA. However, it is challenging for our data scientists and ML practitioners to bring data- and AI-powered product ideas to life in a way that resonates with our design-focused leadership. Slide decks with screenshots, design documents with plots, and even Figmas are insufficient to capture ideas that need to be experienced in order to be understood. This was especially true as large language models (LLMs) took the world by storm, since th…

Riverbed Data Hydration — Part 1A deep dive into the streaming aspect of the Lambda architecture framework that optimizes how data is consumed from system-of-record data stores and updates secondary read-optimized stores at Airbnb.OverviewIn our previous blog post we introduced the motivation and high-level architecture of Riverbed. As a recap, Riverbed is a part of Airbnb’s tech stack designed to streamline and optimize how data is consumed from system-of-record data stores and update secondary read-optimized stores. The framework is built around the concept of ‘materialized views’ — denormalized representations of data that can be queried in a predictable, efficient manner. The primary go…

By: Leo Wong, Henry JohnsonHow the Airbnb Media team built group travel Postcards for the 2024 Summer Release by leveraging a novel destination matching algorithm while advancing the platform’s image & localized text processing capabilities.Airbnb Postcards (see announcement).IntroductionFor Airbnb’s 2024 Summer Release, the Media Ingestion team at Airbnb took on the exciting challenge of creating a reliable postcard generation system to generate unique, hand-crafted Postcards. Postcards are a beautiful way to invite guests on a trip while keeping friends and family in the loop (see announcement). This feature required a novel solution to match relevant postcards to every possible destinati…

An Important Foundation For Security, Privacy, and Compliance at AirbnbBy: Sam Kim, Alex Klimov, Woody Zhou, Sylvia Tomiyama, Aniket Arondekar, Ansuman AcharyaIntroductionAirbnb is built on trust. One key way we maintain trust with our community is by ensuring that personal data is handled with care, in a manner that meets security, privacy, and compliance requirements. Understanding where and what personal data exists is foundational to this.Over the past several years, we’ve built our own data classification system that adapts to the needs of our data ecosystem, to streamline our processes, and further unlock our ability to protect the data entrusted to Airbnb. This was made possible by m…

Airbnb’s Use of A New Flink platform evolved from Apache Hadoop® YarnIntroductionAt Airbnb, Apache Flink was introduced in 2018 as a supplementary solution for stream processing. It ran alongside Apache Spark™ Streaming for several years before transitioning to become the primary stream processing platform. In this blog post, we will delve into the evolution of Flink architecture at Airbnb and compare our prior Hadoop Yarn platform with the current Kubernetes-based architecture. Additionally, we will discuss the efforts undertaken throughout the migration process and explore the challenges that arose during this journey. In the end we will summarize the impact, learnings along the way and f…

Incrementally modernizing our frontend infrastructure to roll out the latest React features without downgradesIntroductionAirbnb’s frontend recently reached a major milestone: all of our web surfaces have been upgraded from React 16 to React 18, the current major version of React¹. This was a big project for a product with many surfaces, including Guest and Host pages as well as many internal tools. To safely perform this upgrade, we created the React Upgrade System: reusable infrastructure that allows us to roll out new versions of React progressively across our monorepo and measure the results of the upgrade. In this blog post, we’ll discuss our upgrade philosophy, the system we created, …

Airbnb has made significant strides in improving web accessibility for Hosts and guests who require larger text sizes.This post takes an in-depth look at:The problems encountered on mobile web when relying solely on browser zoom.The challenges of introducing changes that would impact the workflow of all frontend engineers.The benefits seen since launching these accessibility improvements.by: Steven BassettImproving web accessibility is a critical priority at Airbnb, and we use the Web Content Accessibility Guidelines (WCAG) to help guide our compliance efforts. One area that often leads to accessibility issues is WCAG 1.4.4 Resize Text (Level AA). This guideline, which we’ll refer to as Res…

How Airbnb enabled hosts and guests to connect and introduce themselves through the Host Passport.By: Anne LuIntroductionIn May 2023 we introduced the Host Passport as part of our Summer Release. We wanted to give Hosts a way to introduce themselves, and start building a more personal connection with their guests. To that end, we created the Host Passport, which appears in the bottom corner of each Private Room listing result with a photo of the Host on the cover. Guests can tap it to fully open the Host Passport and learn more about the Host and get a sense for the real live person they would be staying with.The Passport animationThe Host Passport offers Hosts a way to introduce themselves…

By: Rajiv Shringi, Oleksii Tkachuk, Kartik SathyanarayananIntroductionIn our previous blog post, we introduced Netflix’s TimeSeries Abstraction, a distributed service designed to store and query large volumes of temporal event data with low millisecond latencies. Today, we’re excited to present the Distributed Counter Abstraction. This counting service, built on top of the TimeSeries Abstraction, enables distributed counting at scale while maintaining similar low latency performance. As with all our abstractions, we use our Data Gateway Control Plane to shard, configure, and deploy this service globally.Distributed counting is a challenging problem in computer science. In this blog post, we…

By: Hechao Li and Marcelo MaywormWith special thanks to our stunning colleagues Amer Ather, Itay Dafna, Luca Pozzi, Matheus Leão, and Ye Ji.OverviewAt Netflix, the Analytics and Developer Experience organization, part of the Data Platform, offers a product called Workbench. Workbench is a remote development workspace based on Titus that allows data practitioners to work with big data and machine learning use cases at scale. A common use case for Workbench is running JupyterLab Notebooks.Recently, several users reported that their JupyterLab UI becomes slow and unresponsive when running certain notebooks. This document details the intriguing process of debugging this issue, all the way from …

Rajiv Shringi Vinay Chella Kaidan Fullerton Oleksii Tkachuk Joey LynchIntroductionAs Netflix continues to expand and diversify into various sectors like Video on Demand and Gaming, the ability to ingest and store vast amounts of temporal data — often reaching petabytes — with millisecond access latency has become increasingly vital. In previous blog posts, we introduced the Key-Value Data Abstraction Layer and the Data Gateway Platform, both of which are integral to Netflix’s data architecture. The Key-Value Abstraction offers a flexible, scalable solution for storing and accessing structured key-value data, while the Data Gateway Platform provides essential infrastructure for protecting, c…

Vidhya Arvind, Rajasekhar Ummadisetty, Joey Lynch, Vinay ChellaIntroductionAt Netflix our ability to deliver seamless, high-quality, streaming experiences to millions of users hinges on robust, global backend infrastructure. Central to this infrastructure is our use of multiple online distributed databases such as Apache Cassandra, a NoSQL database known for its high availability and scalability. Cassandra serves as the backbone for a diverse array of use cases within Netflix, ranging from user sign-ups and storing viewing histories to supporting real-time analytics and live streaming.Over time as new key-value databases were introduced and service owners launched new use cases, we encounte…

By Karthik Yagna, Baskar Odayarkoil, and Alex EllisPushy is Netflix’s WebSocket server that maintains persistent WebSocket connections with devices running the Netflix application. This allows data to be sent to the device from backend services on demand, without the need for continually polling requests from the device. Over the last few years, Pushy has seen tremendous growth, evolving from its role as a best-effort message delivery service to be an integral part of the Netflix ecosystem. This post describes how we’ve grown and scaled Pushy to meet its new and future needs, as it handles hundreds of millions of concurrent WebSocket connections, delivers hundreds of thousands of messages p…

By Jose Fernandez, Sebastien Dabdoub, Jason Kock, Artem TkachukThe Compute and Performance Engineering teams at Netflix regularly investigate performance issues in our multi-tenant environment. The first step is determining whether the problem originates from the application or the underlying infrastructure. One issue that often complicates this process is the "noisy neighbor" problem. On Titus, our multi-tenant compute platform, a "noisy neighbor" refers to a container or system service that heavily utilizes the server's resources, causing performance degradation in adjacent containers. We usually focus on CPU utilization because it is our workload's most frequent source of noisy neighbor …

By Jiangwei Pan, Gary Tang, Henry Wang, and Justin BasilicoIntroductionOur mission at Netflix is to entertain the world. Our personalization algorithms play a crucial role in delivering on this mission for all members by recommending the right shows, movies, and games at the right time. This goal extends beyond immediate engagement; we aim to create an experience that brings lasting enjoyment to our members. Traditional recommender systems often optimize for short-term metrics like clicks or engagement, which may not fully capture long-term satisfaction. We strive to recommend content that not only engages members in the moment but also enhances their long-term satisfaction, which increases…

By Aurélien Bibaut, Winston Chou, Simon Ejdemyr, and Nathan KallusWe are excited to share our work on how to learn good proxy metrics from historical experiments at KDD 2024. This work addresses a fundamental question for technology companies and academic researchers alike: how do we establish that a treatment that improves short-term (statistically sensitive) outcomes also improves long-term (statistically insensitive) outcomes? Or, faced with multiple short-term outcomes, how do we optimally trade them off for long-term benefit?For example, in an A/B test, you may observe that a product change improves the click-through rate. However, the test does not provide enough signal to measure a c…

Hechao Li, Roger CruzCloud Networking TopologyNetflix operates a highly efficient cloud computing infrastructure that supports a wide array of applications essential for our SVOD (Subscription Video on Demand), live streaming and gaming services. Utilizing Amazon AWS, our infrastructure is hosted across multiple geographic regions worldwide. This global distribution allows our applications to deliver content more effectively by serving traffic closer to our customers. Like any distributed system, our applications occasionally require data synchronization between regions to maintain seamless service delivery.The following diagram shows a simplified cloud network topology for cross-region tra…

Getting real with virtual threadsBy Vadim Filanovsky, Mike Huang, Danny Thomas and Martin ChalupaIntroNetflix has an extensive history of using Java as our primary programming language across our vast fleet of microservices. As we pick up newer versions of Java, our JVM Ecosystem team seeks out new language features that can improve the ergonomics and performance of our systems. In a recent article, we detailed how our workloads benefited from switching to generational ZGC as our default garbage collector when we migrated to Java 21. Virtual threads is another feature we are excited to adopt as part of this migration.For those new to virtual threads, they are described as “lightweight threa…

By Jun He, Natallia Dzenisenka, Praneeth Yenugutala, Yingyi Zhang, and Anjali NorwoodTL;DRWe are thrilled to announce that the Maestro source code is now open to the public! Please visit the Maestro GitHub repository to get started. If you find it useful, please give us a star.What is MaestroMaestro is a general-purpose, horizontally scalable workflow orchestrator designed to manage large-scale workflows such as data pipelines and machine learning model training pipelines. It oversees the entire lifecycle of a workflow, from start to finish, including retries, queuing, task distribution to compute engines, etc.. Users can package their business logic in various formats such as Docker images…

Applying Quality of Service techniques at the application levelAnirudh Mendiratta, Kevin Wang, Joey Lynch, Javier Fernandez-Ivern, Benjamin FedorkaIntroductionIn November 2020, we introduced the concept of prioritized load shedding at the API gateway level in our blog post, Keeping Netflix Reliable Using Prioritized Load Shedding. Today, we’re excited to dive deeper into how we’ve extended this strategy to the individual service level, focusing on the video streaming control plane and data plane, to further enhance user experience and system resilience.The Evolution of Load Shedding at NetflixAt Netflix, ensuring a seamless viewing experience for millions of users simultaneously is paramoun…

A summary of sessions at the first Data Engineering Open Forum at Netflix on April 18th, 2024The Data Engineering Open Forum at Netflix on April 18th, 2024.At Netflix, we aspire to entertain the world, and our data engineering teams play a crucial role in this mission by enabling data-driven decision-making at scale. Netflix is not the only place where data engineers are solving challenging problems with creative solutions. On April 18th, 2024, we hosted the inaugural Data Engineering Open Forum at our Los Gatos office, bringing together data engineers from various industries to share, learn, and connect.At the conference, our speakers share their unique perspectives on modern developments,…

Video annotator: a framework for efficiently building video classifiers using vision-language models and active learningAmir Ziai, Aneesh Vartakavi, Kelli Griggs, Eugene Lok, Yvonne Jukes, Alex Alonso, Vi Iyengar, Anna Pulidohttps://medium.com/media/02a5bbf97c619182adba24b45e42edcb/hrefIntroductionProblemHigh-quality and consistent annotations are fundamental to the successful development of robust machine learning models. Conventional techniques for training machine learning classifiers are resource intensive. They involve a cycle where domain experts annotate a dataset, which is then transferred to data scientists to train models, review outcomes, and make changes. This labeling process t…

At Netflix, we want to ensure that every current and future member finds content that thrills them today and excites them to come back for more. Causal inference is an essential part of the value that Data Science and Engineering adds towards this mission. We rely heavily on both experimentation and quasi-experimentation to help our teams make the best decisions for growing member joy.Building off of our last successful Causal Inference and Experimentation Summit, we held another week-long internal conference this year to learn from our stunning colleagues. We brought together speakers from across the business to learn about methodological developments and innovative applications.We covered…

Liang Mou; Staff Software Engineer, Logging Platform | Elizabeth (Vi) Nguyen; Software Engineer I, Logging Platform |In today’s data-driven world, businesses need to process and analyze data in real-time to make informed decisions. Change Data Capture (CDC) is a crucial technology that enables organizations to efficiently track and capture changes in their databases. In this blog post, we’ll explore what CDC is, why it’s important, and our journey of implementing Generic CDC solutions for all online databases at Pinterest.What is Change Data Capture?CDC is a set of software design patterns used to identify and track changes in a database. These changes can include inserts, updates, and dele…

Yongjun Zhang; Staff Software Engineer | William Tom; Staff Software Engineer | Sandeep Kumar; Software Engineer |Monarch, Pinterest’s Batch Processing Platform, was initially designed to support Pinterest’s ever-growing number of Apache Spark and MapReduce workloads at scale. During Monarch’s inception in 2016, the most dominant batch processing technology around to build the platform was Apache Hadoop YARN. Now, eight years later, we have made the decision to move off of Apache Hadoop and onto our next generation Kubernetes (K8s) based platform. These are some of the key issues we aim to address:Application isolation with containerization: In Apache Hadoop 2.10, YARN applications share th…

Alex Wang; Software Engineer I | Lei Pan; Software Engineer II | Raymond Lee; Senior Software Engineer | Saurabh Vishwas Joshi; Senior Staff Software Engineer | Chia-Wei Chen; Senior Software Engineer |IntroductionIn Part 1 of our blog series, we discussed why we chose to use Ray(™) as a last mile data processing framework and how it enabled us to solve critical business problems. In Part 2 of our blog series, we described how we were able to integrate Ray(™) into our existing ML infrastructure. In this blog post, we will discuss a second type of popular application of Ray(™) at Pinterest: offline batch inference of ML models. We will also share how our implementation was able to deliver 4.…

Authors: Alberto Ordonez Pereira; Senior Staff Software Engineer | Lianghong Xu; Senior Manager, Engineering |Part 1: HBase Deprecation at Pinterest & Part 2: TiDB Adoption at PinterestIn this blog, we will show how the team transitioned from supporting multiple query serving stacks to provide different data models to a brand new data serving platform with a unified multi model query serving stack called Structured DataStore (SDS).As a data serving platform, SDS is responsible for various aspects of the data lifecycle management, including:Online Query Serving, which offers multiple data models such as graph, table, document, etc. at 1–2 digit ms p99 latency and with high availability (99.9…

Li Tang; Sr. Software Engineer | Saurabh Vishwas Joshi; Sr. Staff Software Engineer | Zhiyuan Zhang; Sr. Manager, Engineering |At Pinterest, we operate a large-scale online machine learning inference system, where feature caching plays a critical role to achieve optimal efficiency. In this blog post, we will discuss our decision to adopt Cachelib project by Meta Open Source (“Cachelib”) and how we have built a high-throughput, flexible feature cache by leveraging and expanding upon the capabilities of Cachelib.BackgroundRecommender systems are fundamental to Pinterest’s mission to inspire users to create a life they love. At a high level, our recommender models predict user and content inte…

Jeff Xiang | Senior Software Engineer, Logging Platform; Vahid Hashemian | Staff Software Engineer, Logging PlatformWhen it comes to PubSub solutions, few have achieved higher degrees of ubiquity, community support, and adoption than Apache Kafka®️, which has become the industry standard for data transportation at large scale. At Pinterest, petabytes of data are transported through PubSub pipelines every day, powering foundational systems such as AI training, content safety and relevance, and real-time ad bidding, bringing inspiration to hundreds of millions of Pinners worldwide. Given the continuous growth in PubSub-dependent use cases and organic data volume, it became paramount that PubS…

Pinterest Engineering TeamPinterest employees in San Francisco office standing together with the Mentor of the Year 2024 AwardOur internship program truly inspires employees to bring their best self to work every day. Our program has mentors across the business that help interns develop their skills to create a career they love. Our Mentors of the Year have shown exceptional dedication in guiding and supporting our interns on their professional journeys. Discover how being a mentor has helped them advance their own careers at Pinterest and find out what inspires them.In this blog, we’re joined by Irena Lee, Software Engineer I; Ricardo Casilimas, Software Engineer II; Lily Liu, Sr. Data Sci…

Improving Efficiency Of Goku Time Series Database at Pinterest (Part — 3)Monil Mukesh Sanghavi; Software Engineer, Real Time Analytics Team | Ming-May Hu; Software Engineer, Real Time Analytics Team | Xiao Li; Software Engineer, Real Time Analytics Team | Zhenxiao Luo; Software Engineer, Real Time Analytics Team | Kapil Bajaj; Manager, Real Time Analytics Team |At Pinterest, one of the pillars of the observability stack provides internal engineering teams (our users) the opportunity to monitor their services using metrics data and set up alerting on it. Goku is our in-house time series database that provides cost efficient and low latency storage for metrics data. Underneath, Goku is not a …

Zhihao Hong; Staff Software Engineer | Emma Adams; Sr. Software Engineer | Jeremy Muhia; Sr. Software Engineer | Blossom Yin; Software Engineer II | Melissa He; Sr. Software Engineer |SummaryVideo content has emerged as a favored format for people to discover inspirations at Pinterest. In this blog post, we will outline recent enhancements made to the Adaptive Bitrate (ABR) video performance, as well as its positive impact on user engagement.Terms:ABR: An acronym for Adaptive Bitrate (ABR) Streaming protocol.HLS: HTTP live streaming (HLS) is an ABR protocol developed by Apple and supported both live and on-demand streaming.DASH: Dynamic Adaptive Streaming over HTTP (DASH) is another ABR pro…

Ning Zhang; Sr. Technical Program Manager | Ang Xu; Principal Machine Learning Engineer | Claire Liu; Staff Software Engineer | Haichen Liu; Staff Software Engineer | Yiran Zhao; Staff Software Engineer | Haoyu He; Sr. Software Engineer | Sergei Radutnuy; Sr. Machine Learning Engineer | Di An; Sr. Software Engineer | Danyal Raza; Sr. Software Engineer | Xuan Chen; Sr. Software Engineer | Chi Zhang; Sr. Software Engineer | Adam Winstanley; Staff Software Engineer | Johnny Xie; Sr. Staff Software Engineer | Simeng Qu; Software Engineer II | Nishant Roy; Manager II, Engineering | Chengcheng Hu; Sr. Director, Engineering |In the first part of the post, we introduced the motivations on why we de…

Jordan Cutler; Sr. Sofware Engineer | Rebecca Yi; Sr. Sofware Engineer |Hi there! 👋 We’re Rebecca and Jordan, two Senior engineers who onboarded to Pinterest the same day as Web Engineers. We’ll share with you what onboarding at Pinterest is like, from the learning-packed first week to launching our first project two months later. Plus, we promise to include a healthy dose of our favorite Pinterest puns 😃Week 1Rebecca here 👋My first week at Pinterest was a rich blend of conventional onboarding information with a nice touch of social aspects to help me feel onboarded.We kicked off orientation with “Pintro” sessions (we warned you that there would be puns!), which informed us not only about w…

Lin Zhu; Staff Machine Learning Engineer | Eric Tam; Staff Software Engineer | Yuxiang Wang; Staff Machine Learning Engineer |Importance of NotificationsNotifications (e.g. email, push, in-app messages) play an important role in driving user retention. In our previous system, which operated on a daily budget allocation model, the system relied on predicting daily budgets for individual users on a daily basis, constraining the flexibility and responsiveness required for dynamic user engagement and content changes. Notification Event Processor (NEP) is a next generation notification system developed at Pinterest, offering the flexibility to process and make decisions to send notifications in …

Kapil Bajaj; Sr. Manager, Engineering | Zhenxiao Luo; Sr. Staff Software Engineer | Yi Yang; Sr. Software Engineer | Saahil Barai; Software Engineer I | Ming-May Hu; Software Engineer I |IntroductionPinterest is a visual discovery platform where people can find ideas like recipes, home and style inspiration, and much more. The platform offers its partners shopping capabilities as well as a significant advertising opportunity with 500+ million monthly active users. Advertisers can purchase ads directly on Pinterest or through partnerships with advertising agencies. Due to our huge scale, advertisers get an opportunity to learn about their Pins and their interaction with Pinterest users from …

Authors: Alberto Ordonez Pereira; Senior Staff Software Engineer | Lianghong Xu; Senior Manager, Engineering |This is the second part of a three series and focuses on how we selected the new storage technology that ended up replacing HBase.MotivationHBase has been a foundational storage system at Pinterest since its inception in 2013, when it was deployed at a massive scale and supported numerous use cases. However, it started to show significant inadequacy to keep up with the evolving business needs due to various reasons mentioned in the previous blog. As a result, two years ago we started searching for a next-generation storage technology that could replace HBase for many years to come a…

AI plays a fundamental role in creating valuable connections between people and advertisers within Meta’s family of apps. Meta’s ad recommendation engine, powered by deep learning recommendation models (DLRMs), has been instrumental in delivering personalized ads to people. Key to this success was incorporating thousands of human-engineered signals or features in the DLRM-based recommendation system. [...]

Read More...

The post Sequence learning: A paradigm shift for personalized ads recommendations appeared first on Engineering at Meta.

At Open Compute Project Summit (OCP) 2024, we’re sharing details about our next-generation network fabric for our AI training clusters. We’ve expanded our network hardware portfolio and are contributing two new disaggregated network fabrics and a new NIC to OCP. We look forward to continued collaboration with OCP to open designs for racks, servers, storage [...]

Read More...

The post OCP Summit 2024: The open future of networking hardware for AI appeared first on Engineering at Meta.

At the Open Compute Project (OCP) Global Summit 2024, we’re showcasing our latest open AI hardware designs with the OCP community. These innovations include a new AI platform, cutting-edge open rack designs, and advanced network fabrics and components. By sharing our designs, we hope to inspire collaboration and foster innovation. If you’re passionate about building [...]

Read More...

The post Meta’s open AI hardware vision appeared first on Engineering at Meta.

Data for Good at Meta is open-sourcing the data used to train our AI-powered population maps. We’re hoping that researchers and other organizations around the world will be able to leverage these tools to assist with a wide range of projects including those on climate adaptation, public health and disaster response. The dataset and code [...]

Read More...

The post How open source AI can improve population estimates, sustainable energy, and the delivery of climate change interventions appeared first on Engineering at Meta.

We’re sharing more about the role that reinforcement learning plays in helping us optimize our data centers’ environmental controls. Our reinforcement learning-based approach has helped us reduce energy consumption and water usage across various weather conditions. Meta is revamping its new data center design to optimize for artificial intelligence and the same methodology will be [...]

Read More...

The post Simulator-based reinforcement learning for data center cooling optimization appeared first on Engineering at Meta.

How PyTorch powers AI training and inference Learn about new PyTorch advancements for LLMs and how PyTorch is enhancing every aspect of the LLM lifecycle. In this talk from AI Infra @ Scale 2024, software engineers Wanchao Liang and Evan Smothers are joined by Meta research scientist Kimish Patel to discuss our newest features and [...]

Read More...

The post How PyTorch powers AI training and inference appeared first on Engineering at Meta.

In this talk from AI Infra @ Scale 2024, Joel Colburn, a software engineer at Meta, technical lead Junqiang Lan, and software engineer Jack Montgomery discuss the second generation of MTIA, Meta’s in-house training and inference accelerator. They cover the co-design process behind building the second generation of Meta’s first-ever custom silicon for AI workloads, [...]

Read More...

The post Inside the hardware and co-design of MTIA appeared first on Engineering at Meta.

Llama 3 is Meta’s most capable openly-available LLM to date and the recently-released Llama 3.1 will enable new workflows, such as synthetic data generation and model distillation with unmatched flexibility, control, and state-of-the-art capabilities that rival the best closed source models. At AI Infra @ Scale 2024, Meta engineers discussed every step of how we [...]

Read More...

The post Bringing Llama 3 to life appeared first on Engineering at Meta.

Delivering new AI technologies at scale also means rethinking every layer of our infrastructure – from silicon and software systems and even our data center designs. For the second year in a row, Meta’s engineering and infrastructure teams returned for the AI Infra @ Scale conference, where they discussed the challenges of scaling up an [...]

Read More...

The post Aparna Ramani discusses the future of AI infrastructure appeared first on Engineering at Meta.

We launched Meta AI with the goal of giving people new ways to be more productive and unlock their creativity with generative AI (GenAI). But GenAI also comes with challenges of scale. As we deploy new GenAI technologies at Meta, we also focus on delivering these services to people as quickly and efficiently as possible. [...]

Read More...

The post How Meta animates AI-generated images at scale appeared first on Engineering at Meta.

AI networks play an important role in interconnecting tens of thousands of GPUs together, forming the foundational infrastructure for training, enabling large models with hundreds of billions of parameters such as LLAMA 3.1 405B. This week at ACM SIGCOMM 2024 in Sydney, Australia, we are sharing details on the network we have built at Meta [...]

Read More...

The post A RoCE network for distributed AI training at scale appeared first on Engineering at Meta.

What happens when a team of mechanical engineers get tired of looking at flat images of 3D models over Zoom? Meet the team behind Caddy, a new CAD app for mixed reality. They join Pascal Hartig (@passy) on the Meta Tech Podcast to talk about teaching themselves to code, disrupting the CAD software space, and [...]

Read More...

The post Meet Caddy – Meta’s next-gen mixed reality CAD software appeared first on Engineering at Meta.

The key to developer velocity across AI lies in minimizing time to first batch (TTFB) for machine learning (ML) engineers. AI Lab is a pre-production framework used internally at Meta. It allows us to continuously A/B test common ML workflows – enabling proactive improvements and automatically preventing regressions on TTFB. AI Lab prevents TTFB regressions [...]

Read More...

The post AI Lab: The secrets to keeping machine learning engineers moving fast appeared first on Engineering at Meta.

Tail utilization is a significant system issue and a major factor in overload-related failures and low compute utilization. The tail utilization optimizations at Meta have had a profound impact on model serving capacity footprint and reliability. Failure rates, which are mostly timeout errors, were reduced by two-thirds; the compute footprint delivered 35% more work for [...]

Read More...

The post Taming the tail utilization of ads inference at Meta scale appeared first on Engineering at Meta.

TL;DR The Spotify FOSS Fund is back again! We created the Spotify FOSS Fund in 2022 to help support the [...]

The post Congratulations to the Recipients of the 2024 Spotify FOSS Fund appeared first on Spotify Engineering.

With the fields of machine learning (ML) and generative AI (GenAI) continuing to rapidly evolve and expand, it has become [...]

The post How We Generated Millions of Content Annotations appeared first on Spotify Engineering.

On Spotify’s Analytics Platform, we’re dedicated to building products that empower data practitioners to discover, analyze, and share insights — [...]

The post Are You a Dalia? How We Created Data Science Personas for Spotify’s Analytics Platform appeared first on Spotify Engineering.

We have a lot of dashboards at Spotify. Our Insight teams and analysts from across the company are constantly whipping [...]

The post Unlocking Insights with High-Quality Dashboards at Scale appeared first on Spotify Engineering.

Car rides have become connected and interactive these days with drivers jamming to music or catching up on podcasts or [...]

The post Technical Decision-Making in a Fragmented Space: Spotify In-Car Case Study appeared first on Spotify Engineering.

Check out Data Platform Explained Part I, where we started sharing the journey of building a data platform, its building [...]

The post Data Platform Explained Part II appeared first on Spotify Engineering.

TL;DR Sometimes we cannot estimate the required sample size needed to power an experiment before starting it. To alleviate this [...]

The post Fixed-Power Designs: It’s Not IF You Peek, It’s WHAT You Peek at appeared first on Spotify Engineering.

Today, we announced Spotify’s latest products and services for companies adopting Backstage, the open source framework for building IDPs.

The post Supercharged Developer Portals appeared first on Spotify Engineering.

As engineers working at Spotify, we frequently find ourselves explaining our robust data platform to fellow professionals who are contemplating [...]

The post Data Platform Explained appeared first on Spotify Engineering.

TL;DR We summarize the findings in our recent paper, Schultzberg, Ankargren, and Frånberg (2024), where we explain how Spotify’s decision-making [...]

The post Risk-Aware Product Decisions in A/B Tests with Multiple Metrics appeared first on Spotify Engineering.

Explore how Ripple's transition to Databricks will help support the future of XRP Ledger analytics.

Unlock powerful time-series analytics with Snowflake's enhanced RANGE-based window frame, now generally available. The post Accelerate Time-Series Analytics with RANGE-Based Window Frames, now Generally Available appeared first on Snowflake.

Our optimization delivers fast results, with some customer queries reaching 99.8%.

The post Continued Investments in Price Performance and Faster Top-K Queries appeared first on Snowflake.

Discover how BigGeo is making location-based data more accessible and actionable.

The post Snowflake Startup Spotlight: BigGeo Puts Geospatial Intelligence on the Map appeared first on Snowflake.

Learn what’s new, including security enhancements and cost reductions.

The post Securely Deploy Custom Apps and Models with Snowpark Container Services, Now Generally Available appeared first on Snowflake.

Retrieval Augmented Generation (RAG) allows enterprises to ground responses from Large Language Models in their specific organization’s data. This helps ensure that AI-powered applications provide responses that are not only accurate, relevant, and consistent, but also aligned with business needs. At Snowflake, we make it simple for our customers to implement RAG, while also enabling […]

The post Snowflake Invests in Contextual AI to Make It Easier for Enterprises to Deploy RAG Applications in the AI Data Cloud appeared first on Snowflake.

Learn about advancing medical research with a robust data strategy.

The post Accelerating Academic Medical Research with an AI-Driven Data Strategy appeared first on Snowflake.

Available on GitHub, Polaris Catalog provides new levels of choice, flexibility and control over your data.

The post Polaris Catalog Is Now Open Source appeared first on Snowflake.

Learn how we're empowering customers to protect their valuable data.

The post Snowflake Advances Cybersecurity Excellence by Joining CISA Secure by Design Pledge appeared first on Snowflake.

Learn how Cortex Search provides hybrid search at enterprise scale

The post Snowflake Cortex Search: State-of-the-Art Hybrid Search for RAG Applications appeared first on Snowflake.

Remove integration and procurement friction, improve time to value.

The post How Snowflake Accelerates Business Growth for Providers of Data, Apps and AI Products appeared first on Snowflake.

Snowflake helps customers implement AI safety at scale with an easy, cost-effective LLM guardrails feature. The post Snowflake Cortex AI Launches Cortex Guard to Implement LLM Safeguards appeared first on Snowflake.

Today, Snowflake is excited to announce that the Llama 3.1 collection of multilingual large language models (LLMs) are now available in Snowflake Cortex AI, providing enterprises with secure, serverless access to Meta’s most advanced open source model. Snowflake offers the largest context window of any vendor, at 128k, for the Llama 3.1 collection of models. […]

The post Meta’s Llama 3.1 405B Now Available for Enterprise App Development in Snowflake Cortex AI appeared first on Snowflake.

Migrate, modernize and monetize to unlock innovation on Snowflake’s platform.

The post Getting the Most From Your Modern Data Platform: A Three-Phase Approach appeared first on Snowflake.

A potential recipe for disaster proved to be the focus of every data executive’s agenda over the last year. A year ago many data leaders were caught off-guard. Employees embraced new gen AI tools with fervor, driving interest in all AI initiatives. Generative AI had penetrated the enterprise, with gen AI positioned in the Peak […]

The post From Potential Disaster To Driver of Change… Data Execs Share Their Journeys To Effective AI appeared first on Snowflake.

Join us on July 25, 2024 for a Sports and AI virtual event.

The post Snowflake’s Summer of Sports and AI appeared first on Snowflake.

As advanced analytics and AI continue to drive enterprise strategy, leaders are tasked with building flexible, resilient data pipelines that accelerate trusted insights. AI pioneer Andrew Ng recently underscored that robust data engineering is foundational to the success of data-centric AI—a strategy that prioritizes data quality over model complexity. McKinsey Quarterly’s latest research further forecasts […]

The post Elevating Productivity: Cloudera Data Engineering Brings External IDE Connectivity to Apache Spark appeared first on Cloudera Blog.

BPA software is great for data-driven companies that are trying to improve their bottom line.

China has a unique zip code system, which makes it easier to develop great business intelligence models.

Data analytics can help rehab providers improve their local SEO significantly, which will boost their bottom lines.

AI is great for helping to improve your SEO strategy, especially when you are trying to reach customers across different regions.

AI technology can play an integral role in building stronger business relationships in 2024.

AI is invaluable for cybersecurity professionals trying to help stop unauthorized access to their complex IT ecosystems.

Coming up with the right pricing strategy is crucial for any business, so it is a good idea to use data analytics to help.

Data analytics can be very helpful for brands trying to get more reach on TikTok.

AI has made tradelines more accessible which helps people improve their credit scores.

Autotask and Connectwise are two amazing AI tools that can help with MSPs.

Smart crosswalks are one of the latest examples of the ways that AI is making us safer.

These guidelines will play an important role in helping businesses thrive with AI.

RAG is a great new breakthrough in AI that is changing the future of contextual data management.

Discover how striking a balance between AI and human collaboration shapes the future of trusted data management for enhanced security and efficiency.

Data engineering is a hot topic in recent years, mainly due to the rise of artificial intelligence, big data, and data science. Every enterprise is transforming in the direction of digitalization. For enterprises, data is full of infinite value. For all the data requirements of organizations, the first thing they need to do is to […]

The post How to Become a Data Engineer (2024 Guide) appeared first on WeCloudData.

Discover how machine learning revolutionizes real estate price prediction, overcoming biases and empowering data-driven decisions. Harness AI for accurate market analysis and secure your dream home investment.

The post Real Estate Price Prediction: Harnessing Machine Learning appeared first on WeCloudData.

Data engineering is a hot topic in recent years, mainly due to the rise of artificial intelligence, big data, and data science. Every enterprise is transforming in the direction of digitalization. For enterprises, data is full of infinite value. For all the data requirements of organizations, the first thing they need to do is to […]

The post How to Become a Data Engineer (2024 Guide) appeared first on WeCloudData.

Machine learning has revolutionized email spam detection, offering sophisticated solutions to combat the continuous influx of unwanted emails. Deep learning techniques, with their advanced pattern recognition capabilities, have significantly improved spam detection accuracy, ensuring that users receive only relevant and valuable information in their inboxes. Explore how machine learning is enhancing email security and reducing spam effectively.

The post Using Machine Learning to Distinguish Between Spam and Legitimate Emails appeared first on WeCloudData.

Machine learning is revolutionizing traffic prediction, enhancing route planning and reducing congestion in urban commuting. Explore advanced algorithms like Uni-LSTM and BiLSTM for accurate forecasts, along with Google Maps' integration of deep learning for improved ETA accuracy. Discover the practical utility of machine learning in everyday life.

The post Navigating your way: Traffic Prediction with Machine Learning appeared first on WeCloudData.

Introduction In recent years, the landscape of employment has undergone a profound transformation, with remote work emerging as a viable and increasingly popular option for professionals across various industries. The advent of advanced technologies and shifting attitudes towards work-life balance have paved the way for remote work to become a mainstream phenomenon. In this blog, […]

The post Analyzing Remote Work Opportunities in Today’s North America Job Market appeared first on WeCloudData.

Explore how energy management is evolving with advanced solar power generation forecasting, enabling more efficient use of renewable resources and optimizing grid performance. Dive into the future of sustainable energy solutions.

The post Energy Management: Solar Power Generation Forecasting appeared first on WeCloudData.

Discover how machine learning is revolutionizing smart agriculture, enhancing crop yields, optimizing resources, and making farming more sustainable. Learn about the latest technologies and trends in agriculture.

The post Smart Agriculture: How Machine Learning is Helping Farming appeared first on WeCloudData.

Weather forecasting is a complex science that involves analyzing vast amounts of data from various sources, including satellites, weather stations, and radar systems.

The post More Accurate Predictions for Your Day: Machine Learning in Weather Forecasting appeared first on WeCloudData.

For those of you who read my last blog, I looked at how the data science job market had performed in 2023 – at least since August when the data collection began. The end of the calendar year provided a fitting moment to take a step back and assess what had transpired in the ensuing […]

The post Data Science Job Market Trends: Navigating the Shifts from 2023 to 2024 appeared first on WeCloudData.

Explore the transformative impact of machine learning on the entertainment industry, from personalized content recommendations to AI-driven music and film production, enhancing viewer experiences.

The post Machine Learning in Entertainment: Customizing Movie Recommendations appeared first on WeCloudData.

https://youtu.be/Riy8860hHSo Unapologetically Technical’s newest episode is now live! In this episode of Unapologetically Technical, I interview Cliff Crosland, the co-founder and CEO of Scanner.dev. Cliff Crosland is a data engineer passionate about helping people wrangle massive log volumes. He sees logs as a treasure trove of insights and believes effective log analysis is critical in […]

The post Unapologetically Technical Episode 14 – Cliff Crosland first appeared on Jesse Anderson.

https://youtu.be/rjpXnaabaqo Unapologetically Technical’s newest episode is now live! In this episode of Unapologetically Technical, I interview Jeff Chou, CEO and co-founder of Sync Computing. Jeff, who holds a PhD from UC Berkeley and a postdoc from MIT, shares his unique journey from academia to startup life, and how his experience with simulations shaped the vision […]

The post Unapologetically Technical Episode 13 – Jeff Chou first appeared on Jesse Anderson.

https://youtu.be/NaOwMim240Y This video covers the latest announcements from StreamNative, Confluent, and WarpStream. We discuss communication protocols, how they’re used, and what they mean for you. We also discuss the various systems using Kafka’s protocol. Finally, we discuss the announcements about writing to Iceberg and DeltaLake directly from the broker and what that means for costs […]

The post Unpacking the Latest Streaming Announcements: A Comprehensive Analysis first appeared on Jesse Anderson.

https://youtu.be/3L-QvVca-As Unapologetically Technical’s newest episode is now live! In this episode of Unapologetically Technical, I interview AJ Hunyady, the founder and CEO of InfinyOn. We talked about his early experiences with networking systems, such as creating firewalls, email, and web servers, and how those prepared him for data work. We chatted about the various implications […]

The post Unapologetically Technical Episode 12 – AJ Hunyady first appeared on Jesse Anderson.

https://www.youtube.com/watch?v=8NHGyesU2Kw In this episode of Unapologetically Technical, I interview Hubert Dulay, the author of Streaming Data Mesh and Developer Advocate at StarTree. We talked about his early experience with web backends like CORBA and SOAP and how those prepared him for data work. He shares his advice for those with web development skills to transition […]

The post Unapologetically Technical Episode 11 – Hubert Dulay first appeared on Jesse Anderson.

I had the pleasure of being one of the speakers at GOTO Amsterdam 2023 where I talked about Why Most Data Projects Fail & How to Avoid It and I can’t wait to share this talk with you! Abstract: Unfortunately, the majority of data projects fail. Yet, they fail for the same reasons. Most […]

https://youtu.be/ayAGiPd2zq4?si=o0SHbsbT0-Pmdkqd This week on Unapologetically Technical, I had the wonderful pleasure of interviewing Gunnar Morling, the creator of the Billion Row Challenge and Senior Staff Software Engineer at Decodable. In this episode, we talk about why it is so important to stay in a position long enough to gain experience and see the success or failure of decisions. […]

In this post, we look at two capabilities in Amazon Bedrock Knowledge Bases that make it easier to build RAG workflows with Amazon Aurora Serverless v2 as the vector store. The first capability helps you easily create an Aurora Serverless v2 knowledge base to use with Amazon Bedrock and the second capability enables you to automate deploying your RAG workflow across environments.

In this post, we introduce postgres_get_av_diag(), a new function available in RDS for PostgreSQL to monitor aggressive autovacuum blockers. By using this function, you can identify and address performance and availability risks through actionable insights provided by postgres_get_av_diag().

Valkey is an open-source, distributed, in-memory key-value data store that offers high-performance data retrieval and storage capabilities, making it an ideal choice for scalable, low-latency modern application development. Originating as a fork of Redis OSS following recent licensing changes, Valkey maintains full compatibility with its predecessor while providing high performance alternative for its developers. Valkey […]

Amazon Relational Database Service (Amazon RDS) for MySQL currently supports a variety of Community MySQL major versions including 5.7, 8.0, and 8.4 which present many different features and bug fixes. Upgrading from one major version to another requires careful consideration and planning. For a complete list of compatible major versions, see Supported MySQL major versions […]

Today, we are excited to announce that Mistral-NeMo-Base-2407 and Mistral-NeMo-Instruct-2407 large language models from Mistral AI that excel at text generation, are available for customers through Amazon SageMaker JumpStart. In this post, we walk through how to discover, deploy and use the Mistral-NeMo-Instruct-2407 and Mistral-NeMo-Base-2407 models for a variety of real-world use cases.

With trust as a cornerstone of AI adoption, we are excited to announce at AWS re:Invent 2024 new responsible AI tools, capabilities, and resources that enhance the safety, security, and transparency of our AI services and models and help support customers’ own responsible AI journeys.

In this post, we show how to build a RAG application on Amazon SageMaker JumpStart using Facebook AI Similarity Search (FAISS).

REA Group, a digital real estate business, uses Amazon Managed Streaming for Apache Kafka (Amazon MSK) and a data streaming platform called Hydro to efficiently share and access large amounts of data across multiple domains and services. This approach allows REA Group to maintain optimal performance and cost-efficiency while scaling to meet growing user demands. In this post, they share their approach to MSK cluster capacity planning.

In this post, we demonstrate how you can use Amazon SageMaker HyperPod training plans, to bring down your training cluster procurement wait time. We guide you through a step-by-step implementation on how you can use the (AWS CLI) or the AWS Management Console to find, review, and create optimal training plans for your specific compute and timeline needs. We further guide you through using the training plan to submit SageMaker training jobs or create SageMaker HyperPod clusters.

In this post, we dive deep into concurrency control, providing valuable insights into crafting efficient transaction patterns and presenting examples that demonstrate effective solutions to common concurrency challenges. We also include a sample code that illustrates how to implement retry patterns for seamlessly managing concurrency control exceptions in Amazon Aurora DSQL (DSQL).

Amazon SageMaker Lakehouse offers a unified solution for enterprise data access, combining data from warehouses and lakes. This post demonstrates how SageMaker Lakehouse integrates scattered data sources, enabling secure enterprise-wide access, and allowing teams to use their preferred tools for predicting and analyzing customer churn. The solution involves multiple data sources, including Amazon S3, Amazon Redshift, and AWS Glue Data Catalog, with AWS Lake Formation managing permissions.

At AWS re:Invent 2024, we are excited to introduce Amazon Bedrock Marketplace. This a revolutionary new capability within Amazon Bedrock that serves as a centralized hub for discovering, testing, and implementing foundation models (FMs). In this post, we discuss the advantages and capabilities of Amazon Bedrock Marketplace and Nemotron models, and how to get started.

AWS Glue 5.0 supports fine-grained access control (FGAC) based on your policies defined in AWS Lake Formation. FGAC enables you to granularly control access to your data lake resources at the table, column, and row levels. This post demonstrates how to enforce FGAC on AWS Glue 5.0 through Lake Formation permissions.

Open table formats are emerging in the rapidly evolving domain of big data management, fundamentally altering the landscape of data storage and analysis. In earlier posts, we discussed AWS Glue 5.0 for Apache Spark. In this post, we highlight notable updates on Iceberg, Hudi, and Delta Lake in AWS Glue 5.0.

Today, we are launching AWS Glue 5.0, a new version of AWS Glue that accelerates data integration workloads in AWS. AWS Glue 5.0 upgrades the Spark engines to Apache Spark 3.5.2 and Python 3.11, giving you newer Spark and Python releases so you can develop, run, and scale your data integration workloads and get insights faster. This post describes what’s new in AWS Glue 5.0, performance improvements, key highlights on Spark and related libraries, and how to get started on AWS Glue 5.0.

In this post, we discuss how Amazon SageMaker and Tecton work together to simplify the development and deployment of production-ready AI applications, particularly for real-time use cases like fraud detection. The integration enables faster time to value by abstracting away complex engineering tasks, allowing teams to focus on building features and use cases while providing a streamlined framework for both offline training and online serving of ML models.

In this post, we will explore how to harness the power of Open source Apache Spark and configure a third-party engine to work with AWS Glue Iceberg REST Catalog. The post will include details on how to perform read/write data operations against Amazon S3 tables with AWS Lake Formation managing metadata and underlying data access using temporary credential vending.

Amazon SageMaker Unified Studio (preview) provides an integrated data and AI development environment within Amazon SageMaker. This post shows how you can build a low-code and no-code (LCNC) visual ETL flow that enables seamless data ingestion and transformation across multiple data sources.

In this post, we explore how to deploy AI models from SageMaker JumpStart and use them with Amazon Bedrock's powerful features. Users can combine SageMaker JumpStart's model hosting with Bedrock's security and monitoring tools. We demonstrate this using the Gemma 2 9B Instruct model as an example, showing how to deploy it and use Bedrock's advanced capabilities.

This post introduces the workflow of Amazon Bedrock Model Distillation. We first introduce the general concept of model distillation in Amazon Bedrock, and then focus on the important steps in model distillation, including setting up permissions, selecting the models, providing input dataset, commencing the model distillation jobs, and conducting evaluation and deployment of the student models after model distillation.

AWS has introduced zero-ETL integration support from external applications to AWS Glue, simplifying data integration for organizations. This new feature allows for seamless replication of data from popular platforms like Salesforce, ServiceNow, and Zendesk into Amazon SageMaker Lakehouse and Amazon Redshift. This blog post demonstrates a use case involving ServiceNow data integration, outlining the process of setting up a connector, creating a zero-ETL integration, and verifying both initial data load and change data capture (CDC). It also highlights the advantages of using Apache Iceberg for data versioning and time travel capabilities within zero-ETL integrations.

In this post, we'll show how anyone in your company can use Amazon Bedrock IDE to quickly create a generative AI chat agent application that analyzes sales performance data. Through simple conversations, business teams can use the chat agent to extract valuable insights from both structured and unstructured data sources without writing code or managing complex data pipelines.

In this post, we show how to connect to, govern, and run federated queries on data stored in Redshift, DynamoDB (Preview), and Snowflake (Preview). To query our data, we use Athena, which is seamlessly integrated with SageMaker Unified Studio. We use SageMaker Lakehouse to present data to end-users as federated catalogs, a new type of catalog object. Finally, we demonstrate how to use column-level security permissions in AWS Lake Formation to give analysts access to the data they need while restricting access to sensitive information.

This week on the keynote stages at AWS re:Invent 2024, you heard from Matt Garman, CEO, AWS, and Swami Sivasubramanian, VP of AI and Data, AWS, speak about the next generation of Amazon SageMaker, the center for all of your data, analytics, and AI. This update addresses the evolving relationship between analytics and AI workloads, aiming to streamline how customers work with their data. It helps organizations collaborate more effectively, reduce data silos, and accelerate the development of AI-powered applications while maintaining robust governance and security measures.

ANZ Institutional Division has transformed its data management approach by implementing a federated data platform based on data mesh principles. This shift aims to unlock untapped data potential, improve operational efficiency, and increase agility. The new strategy empowers domain teams to create and manage their own data products, treating data as a valuable asset rather than a byproduct. This post explores how the shift to a data product mindset is being implemented, the challenges faced, and the early wins that are shaping the future of data management in the Institutional Division.

The integration of Amazon SageMaker Studio and Amazon SageMaker HyperPod offers a streamlined solution that provides data scientists and ML engineers with a comprehensive environment that supports the entire ML lifecycle, from development to deployment at scale. In this post, we walk you through the process of scaling your ML workloads using SageMaker Studio and SageMaker HyperPod.

Amazon has introduced the Amazon Kendra GenAI Index, a new offering designed to enhance semantic search and retrieval capabilities for enterprise AI applications. This index is optimized for Retrieval Augmented Generation (RAG) and intelligent search, allowing businesses to build more effective digital assistants and search experiences.

Today, we’re excited to announce that AI apps from AWS Partners are now available in SageMaker. You can now find, deploy, and use these AI apps privately and securely, all without leaving SageMaker AI, so you can develop performant AI models faster.

The AWS Glue Data Catalog now automates generating statistics for new tables. These statistics are integrated with the cost-based optimizer (CBO) from Amazon Redshift Spectrum and Amazon Athena, resulting in improved query performance and potential cost savings. In this post, we discuss how the Data Catalog automates table statistics collection and how you can use it to enhance your data platform’s efficiency.

Today, we’re excited to inform you about a new generative AI feature in DMS SC. You can now use advanced language models to streamline and enhance your migration workflow. In this post, we discuss the key capabilities of DMS SC with generative AI and how to enable it to offer you additional recommendations to reduce manual conversion effort and time.

I'm trying to create a fact table which basically contains user's comments like reddit's. If user write a comment, then a row is created with user's content(text) in it. And I'm thinking about creating the fact table with below 5 columns to represent user comment events. (DIM_COMMENT_SK), (DIM_USER_FK), (DIM_CREATED_DATE_FK), (DIM_DELETE_DATE_FK), (COMMENT) 1, 123, '2024-12-01', '2024-12-02', 'Hello World' 2, 234, '2024-12-02', '2024-12-03', 'Reddit is great!' 3, 456, '2024-12-03', '2024-12-05', 'Foobar comment' Two columns (DIM_CREATED_DATE_FK, DIM_DELETE_DATE_FK) denote comment's changing status. I applied this concept based on accumulating snapshot table. At this point, I feel like that …

https://forms.office.com/e/u52siixAQ7 Looking for responses from people in the below fields: - Web design - Music production - Video production - Computer games design, development and production. - Data recovery - Forensics submitted by /u/BUBBLEGUM8466 [link] [comments]

I've recently started a job at a company which uses databricks as its main data store. All data is stored in delta tables with varying degrees of medallion architecture implemented. Tables are in the region of 1-20TB and ultimately we want the data served back via a basic pivot table esque format (e.g. ag grid or the like front end). Querying the raw data with pyspark is prohibitively slow (>3s) when i'm used to targetting somewhere around 300ms as max latency - otherwise it just feels sluggish in the UI imo. Is there a standard approach here to serving data from the 'gold' layer of the medallian architecture? ETL it out into a serving database (postgres)? Stick an API on top with some RAM …

I needed some guidance/suggestions on how to convert Stored Procedures written and running on Oracle DB over to Hive QL or Trino SQL routines. We're running a bunch of dashboards and reports on the oracle database and the same data exists on Hadoop as well. But certain stored procedures are not present on the hive side. Would appreciate any help/suggestions in general on how to approach converting complex stored procedures to Hive QL or Trino sql routines. submitted by /u/catcherrye22 [link] [comments]

Hi! I'm trying to build a pipeline that monitors the invoices (.xml format) in a folder that are generated by a restaurant's POS (point of service). Whenever a new invoice is added to the folder, I want to extract it, process it, and load it into a cloud database. I'm currently doing so with a simple Python script using watchdog, is this good enough? or should I be using a more robust tool like Kafka or something? The ultimate goal is to load this invoice data into the database so that I can feed a dashboard. Any guidance is welcome. Thank you!!! :) submitted by /u/Top_Struggle_7313 [link] [comments]

I posted this in r/analyticsengineering and was advised to post here as well: As noted I'm an Analytics Engineer laid off but there is more story to my career: Been in the Healthcare industry since 2014 in various 'Data Analyst' positions using SQL mainly. First Job (2 years exp): SQL + BizTalk rules composer to automate client revenue cycle systems Second Job (3 Years exp): SQL + SSIS + Various Internal tools to do audits, create reports, and work with State Government on Medicaid. Third Recent Job - (5 Years exp): - Did 3 Years without any SQL, mostly using the system to create reports, work with our clients to set up the product,and create automation using the system's internal tools. - …

submitted by /u/OPiiiiiii [link] [comments]

Hello lovely people, even though I'm more of a Python dev rather than a DE, I landed a job as a junior DE. I'm very glad I have this opportunity because I'm interested in this field and I would like to learn as much as possible from it. So, asking those who have been working as DE for long time, what do you think are the subject/topic/services every DE should know? or you think is important to focus on? As context, I currently work with cloud (aws) and I have a background as Python dev with a few aws certs under my belt already. Yhanj you all and looking forward to hear your take on this. submitted by /u/KreepyKite [link] [comments]

Hi guys, I am a data engineer/analyst with 10 years of experience with ETL and reporting tech based in the US. I had to take a career break due to personal reasons for a few months and now I am preparing to get back into the game. Due to the nature of my past experience, I noticed that my profile gets picked up for data architect roles. My previous jobs gave me an exposure to data architecture and modeling though I never really 'learnt' the 'textbook' concepts. I need your help to figure out resources where I can go about preparing myself for the role and interviews - learning data architecture in detail. I tried YouTube already, but most videos are from data engineers just like myself who …

Hi all, I need to run a large, embarassingly parallel job (numerical CFD simulation, varying parameters per input file) 40M input files, ca. 5 MB each 1000 parameter combinations Ideally consolidating the output of the 1000 parameters to one output file so 1 input -> 1 output, size also ~5MB So overall 40M jobs, but 40B processes. The parameter combinations can be parallelized on a VM (1 simpulation per core). The model written in Python should be used as-is. After some research, I see the "Batch" services of GCP or Azure as good candidates because little additional engineering is needed (apart from containerizing it). -> Any suggestions/recommendations? Thanks! submitted by /u/Melodic_Falc…

I am working as a ETL developer for 1.5 years. I brushed my SQL to the advanced level. Python intermediate level. I M confident, if I know a problem I can somehow find it's solution. Looking for my future in this industry. But the real issue is I M not comfortable with traditional learning process of learn n implement. I understand by simulating Case study in my mind, , define a problem and then try to find it's best possiblesolutionk with my knowledge base. On internet there is no significant content about problem faced by data engineer and how does they solve it. Seems like they have no time from implementing ad hoc changes😅. All experienced engineers, 1. can you please list down some Cas…

Even when investing in data teams, data tools, etc., most business leaders are disenchanted with data. Why is that? is it that they actually do not want to listen? Is it that we provide inaccurate data? misaligned metrics? what do you think? submitted by /u/NoSeatGaram [link] [comments]

Usually, I guess the right algorithm would be to paginate the database records through your SQL requests. For this to work, there needs to be some monotonically increasing value across each record. For example, a created_at column (assuming it’s not distributed without some networked time protocol getting that value). But then there’s the concern of records inserted at the exact same time, within the granularity of the created_at column. Let’s say you paginate every 100,000 records, but what if there were 100,010 records inserted at the same time. You might miss those 10 extra records after you iterate to greater than a certain time (your “next page”). Is there a generalized, relational dat…

Ive been asked to endorse a book a Data Scientist wrote, and Im reading a lot of attributions to the role of Data Scientist that I don’t think are exclusive and some even not related at all. It talks about the Data Scientist as being right the next step between SMEs and themselves. It doesn’t acknowledges the existence of Data Engineers nor Data Analysts, the book says Data Scientists need to define Governance, compliance, accountability for legal purposes and build the pipelines. At some point even says that the data scientist needs to build data warehouses and refine it, monitor it, admin it, and suggests that they develop semantics to accommodate for business terms, analyze processes and…

I did a small project where I sent data to s3 via Kafka. Now I want to mimic a project the DE side is doing, at my job. High level of the project: The DE team is using Qlik, Kafka, Flink, S3, AWS Lambda, and Redshift. Vendor sources are sending data to an api the api is then sending data to our database. Qlik is sending the data to Kafka then Flinks is doing something, I need to find out what its doing Data ends up in S3 and then Redshift is using external tables for reporting In my much smaller version of what they are doing should: Create topics for each of the tables that are going into S3? Any suggestions for a open source Qlik type of software? submitted by /u/Impossible-Will6173 [link…

Python code to create folders and Word documents for research papers in biomedical sciences — all in one go with only two inputsContinue reading on Towards Data Science »

How I used AI and Streamlit to create a festive and fun gift recommendation appContinue reading on Towards Data Science »

A discussion of the latest research suggesting that LLMs do work like the human brain—with some substantial differencesContinue reading on Towards Data Science »

30 Days, 30 Maps: My November Adventure in Digital CartographyContinue reading on Towards Data Science »

My top tips to smash your next data science behavioural interviewContinue reading on Towards Data Science »

Let’s see how many stars we’ll collect.Continue reading on Towards Data Science »

How to predict DAU using Duolingo’s growth model and control the prediction1. IntroductionDoubtlessly, DAU, WAU, and MAU — daily, weekly, and monthly active users — are critical business metrics. An article “How Duolingo reignited user growth” by Jorge Mazal, former CPO of Duolingo, is #1 in the Growth section of Lenny’s Newsletter blog. In this article, Jorge paid special attention to the methodology Duolingo used to model the DAU metric (see another article “Meaningful metrics: how data sharpened the focus of product teams” by Erin Gustafson). This methodology has multiple strengths, but I’d like to focus on how one can use this approach for DAU forecasting.The new year is coming soon, so…

Implementing Speculative and Contrastive DecodingLarge Language models are comprised of billions of parameters (weights). For each word it generates, the model has to perform computationally expensive calculations across all of these parameters.Large Language models accept a sentence, or sequence of tokens, and generate a probability distribution of the next most likely token.Thus, typically decoding n tokens (or generating n words from the model) requires running the model n number of times. At each iteration, the new token is appended to the input sentence and passed to the model again. This can be costly.Additionally, decoding strategy can influence the quality of the generated words. Ge…

DATA SCIENCE CONSULTINGInsider consulting guide to conducting a successful 2-day executive workshopImage by author using Canva“Our industry does not respect tradition — it only respects innovation.” — Satya Nadella, CEO Microsoft, Letter to employees in 2014While not all industries are as competitive and cutthroat as the software and cloud industries, innovating and applying the latest technological developments is a fundamental theme for executives. Seasoned business leaders understand that staying up-to-date with the relevant technologies is necessary for success.As a data science consultant, some of the questions clients often ask me are: “How do we effectively integrate the right AI and…

Understanding AI applications in bio for machine learning engineersPhoto by Ousa Chea on UnsplashAnyone who has tried teaching a dog new tricks knows the basics of reinforcement learning. We can modify the dog’s behavior by repeatedly offering rewards for obedience and punishments for misbehavior. In reinforcement learning (RL), the dog would be an agent, exploring its environment and receiving rewards or penalties based on the available actions. This very simple concept has been formalized mathematically and extended to advance the fields of self-driving and self-driving/autonomous labs.As a New Yorker, who finds herself riddled with anxiety driving, the benefits of having a stoic robot ch…

And learn about LLM architecture techniques, parsed output, test design and performance measurement of your systemContinue reading on Towards Data Science »

How to kickstart your EDA using simple one linersContinue reading on Towards Data Science »

REGRESSION ALGORITHMRoping in key features with coordinate descentLeast Squares Regression, Explained: A Visual Guide with Code Examples for BeginnersLinear regression comes in different types: Least Squares methods form the foundation, from the classic Ordinary Least Squares (OLS) to Ridge regression with its regularization to prevent overfitting. Then there’s Lasso regression, which takes a unique approach by automatically selecting important factors and ignoring others. Elastic Net combines the best of both worlds, mixing Lasso’s feature selection with Ridge’s ability to handle related features.It’s frustrating to see many articles treat these methods as if they’re basically the same thi…

The Advent, Evolution, and Current state of “Data Translators”IntroductionWith Data being constantly glorified as the most valuable asset organizations can own, leaders and decision-makers are always looking for effective ways to put their data insights to use. Every time customers interact with digital products, millions of data points are generated and the opportunity loss of not harnessing these data points to make better products, optimize revenue generation, and improve customer footprint is simply too high to ignore. The role of “Data Translators” began to emerge in analytics and data science job boards in the 2010s to help bridge the knowledge gap between business and Data teams and …

A beginner-friendly guide with example (Python) codeThis is the third article in a larger series on multimodal AI. In the previous posts, we discussed multimodal LLMs and embedding models, respectively. In this article, we will combine these ideas to enable the development of multimodal RAG systems. I’ll start by reviewing key concepts and then share example code for implementing such a system.Image from Canva.Language models like GPT, LLaMA, and Claude learn a tremendous amount of world knowledge via their pre-training. This makes them powerful tools for solving custom problems and answering complex questions.However, there is knowledge that even the most advanced language models are ignor…

The bad news? Data breaks. The good news? These 4 Snowflake data quality checks & features can help!

A beginner’s guide to implementing the latest industry trend: a data mesh.

Show me your data quality scorecard and I’ll tell you whether you will be successful a year from now.

The modern data warehouse architecture creates problems across many layers. Consider instead an immutable data warehouse for scale and usability.

This article provides an overview of a newly developed approach to an always on compliance testing strategy at Mission Lane.

We've bookmarked the can't-miss moments of Snowflake Data Cloud Summit 2024.

The data estate is evolving, and data quality management needs to evolve right along with it. Here are three common approaches and where the field is heading in the AI era.

Data quality monitoring is one of the traditional methods of managing data quality—but is it enough? Find out what's missing, and how to do it better.

How to improve your Data Quality Metrics and why it matters for your business.

In Spring 2024, Monte Carlo earned both #1 in the Data Observability category and #1 in the Database Monitoring category, along with 14 additional awards.

Snowflake cost optimization efforts need to be right sized. Read how to get the most savings without investing too much time and sweat.

Leverage machine learning to proactively identify data and data pipeline anomalies so you can fix bad data before it impacts your analytics, AI and other data products.

Learn how the Aircall team uses Monte Carlo's data observability solution to maintain their focus on self-serve infrastructure without compromising on data quality.

Data reliability on your radar? Get started with these 7 must-have data quality tests, including null value, numeric distribution, and freshness tests.

Understand what prompt engineering is and why it’s valuable—as well as a few other GenAI skills that should be at the top of your list.

Building and scaling Notion’s data lakeВ июле этого года в блоге Notion вышла подробная статья об их опыте построении data lake: https://www.notion.so/blog/building-and-scaling-notions-data-lake

В блоге базы данных ClickHouse вышел интересный пост, направленный на PostgreSQL юзеров, в нём показаны ключевые различия между моделированием данных в ClickHouse и PostgreSQL: https://clickhouse.com/blog/postgres-to-clickhouse-data-modeling-tips

Нашел в Ютубе двухчасовой доклад про индексы в PostgreSQL: Индексы в PostgreSQL. Как понять, что создавать

Нашел в сети пост мини-книгу от небезызвестной Chip Huyen: Building A Generative AI PlatformПожалуй, это одно из самых подробных руководств про построение Generative AI платформ своими руками, или как сейчас говорят RAG in Production.

Гайд по промпт-инжинирингу от ребят из Anthropic: AI prompt engineering: A deep diveТакже в описании видео есть ссылка на их же мануал: https://docs.anthropic.com/en/docs/build-with-claude/prompt-engineering/overview

DuckCon #5Плейлист с докладами из прошедшей конференции DuckCon #5:— DuckDB – Overview and latest developments— MotherDuck: Taking flight with interactive analytics— Outliers are all you need— Quack attack: Bringing DuckDB to the dart side— A duck for your dashboard: Performant data apps in the browser with DuckDB— Delighting users with RESTful APIs and DuckDB— Aerodynamic data models: Flying fast at scale with DuckDB— Double glazing: Two years of windowing improvements— dbverse: Composable database libraries for larger-than-memory scientific analytics— A quack at building scalable data pipelines with DuckDB

3-х часовой мастер-класс про LLM от Sebastian Raschka: Building LLMs from the Ground Up: A 3-hour Coding Workshop

Бот-помощник для дата инженера 🤖Частенько возникает необходимость расшифровать расписание crontab-выражения на человеческий язык, поэтому запили телеграм-бота: CrontabDescriptionBot Отправьте ему cron-строку и он вернёт вам расписание. Пользуйтесь!Под капотом он работает на лямбдах, поэтому оплачивать хостинг мне не надо, и поэтому всегда будет работать.

В сети появился интересный проект — SlateDB. Это встроенное хранилище на базе LSM Tree, но все данные хранятся на Object Storage сервисах (Amazon S3, Google Cloud Storage, minIO и т.д.). Проект написан на Rust, и пока не существует биндингов на другие языки. SlateDB активно разрабатывается и пока не рекомендуется к использованию в продакшене.Судя по всему, проект появился в результате прохождения мини-курса Mini-LSM.

Недавно я постил доклад про GIL и его отключение в будущих версиях Python. Вчера же на канал PyCon US загрузили доклад от Юры Селиванова про сабинтерпретаторы: Overcoming GIL with subinterpreters and immutability. Это один из вариантов улучшения производительности Python без отключения GIL. Я сам не сторонник удаления GIL, т.к. параллельное выполнение потоков потребует от программиста следить за их синхронизацией, чем собственно сейчас занимается GIL (он же mutex), поэтому интересно было послушать его доклад.Для тех, кто в танке, PEP 734 описывает работу сабинтерпретаторов, релиз этой библиотеки планировался в составе Python 3.13, но, к сожалению, Steering Council в апреле этого года решил …

Мудрые слова!А что думаете вы? Я на практике также стараюсь максимально избегать распределенных транзакций, т.к. это сразу значительно усложняет систему.Наиболее популярные паттерны распределенных транзакций:— Saga Pattern— 2-Phase Commit

Релиз Apache Airflow 2.10Сегодня вышел релиз новой версии Apache Airflow — 2.10. Не успел я ещё перейти на 2.9, а нам подогнали 2.10. Что нового?— @skip_if и @run_if декораторы, позволяющие задавать условия при которых следует запускать или пропускать`task` — появилась возможность задавать разный Executor для tasks в рамках одного DAG— Датасеты отныне не триггерят DAGs, находящиеся в состоянии paused— Важно! Начиная с версии 2.10 Airflow по-умолчанию собирает телеметрию в рамках Open Source Marketing, все данные передаются в систему аналитики Scarf. Чтобы отключить, необходимо задать в конфиге [usage_data_collection]enabled=False либо через переменную окружения SCARF_ANALYTICS=falseС полным…

GIL и PythonPython, пожалуй, самый популярный язык программирования в дата инжиниринге несмотря на то, что его постоянно ругают за производительность и обжорство. Свои позиции он не сдал чего не скажешь, например, о Scala ☠️ Python своей "тормознутостью" отчасти обязан некогда архитектурному решению под названием GIL. Многие слышали эту аббревиатуру, но не все знают причину по которой появился GIL и как он работает под капотом. Если вам это интересно, то держите отличный доклад на русском языке: Зачем нужен GIL и как от него избавиться? от Евгения Афанасьева.В Python версии 3.13, релиз которой будет уже в октябре, добавили опциональную возможность отключить GIL 😲, нюансы описаны в PEP-703. …

Специализация по Data Engineering на Coursera29 августа 2024 года на учебной платформе Coursera стартует специализация по дата инжинирингу от DeepLearning.AI — DeepLearning.AI Data Engineering Professional Certificate. Инструктором на курсах будет Joe Reis, известный в узких кругах как автор книги Fundamentals of Data Engineering, издательство O'Reilly.Обучение рассчитано на 3 месяца, целевая аудитория Intermediate-level специалисты. В специализацию входит 4 курса:— Introduction to Data Engineering— Source Systems, Data Ingestion, and Pipeline— Data Storage and Queries— Data Modeling, Transformation, and ServingОбучение платное как и большинство специализаций на Coursera, но есть возможност…

Get or Create средствами базы данныхУ Haki Benita в блоге нашел статью про реализацию функции get_or_create средствами PostgreSQL — How to Get or Create in PostgreSQL: and why it is so easy to get wrongОтличная статья, мне нравится, что автор использует пошаговый подход и объясняет на каждом этапе какую проблему решает. На первый взгляд может показаться, что нет никаких проблем реализовать Get or Create, но дьявол в мелочах. Рекомендую к прочтению, есть вероятность такой вопрос встретить в будущем на собеседованиях.

Хотел сегодня поделится маленькими телеграмм каналами своих давних друзей. Они совсем не из ИТ, но ребята делают то, что им нравится!ВАСО НА СТРОЙКЕ🛹👷‍♂🛠️ - Васю знаю давно, скейтер старой школы. Он подарил скейт на первый день рождение моему сыну 12 лет назад. В душе он всегда был предпринимателем, а сейчас ведет канал про строительство скейт парков в России. Он и его команда строят парки мирового уровнях в любых условиях в городах России. Контент топчик! Welcome 2 backstage - канал про моду и стиль, ведет Женя. С Женей мы давно знакомы и познакомились на Московской Неделе Моды в гостином дворе, где работали много лет вместе. Оказалось что мы живем на соседних станциях метро. Он все знают …

Как бизнесу анализировать данные проще и быстрее?Обсудим на бесплатном вебинаре СберТеха «Platform V OLAP Analytics — бизнес-эффекты от интерактивного анализа данных».Приглашаем 12 декабря в 11:00 — бизнес-аналитиков, руководителей аналитических отделов, CDO и CTO.Platform V OLAP Analytics — распределенное хранилище аналитических данных. Инструмент упрощает анализ данных, формирует аналитическую отчетность и помогает в планировании.Спикер Виктор Калачанов, Product Owner Platform V OLAP Analytics, расскажет о продукте и познакомит с его:• основными функциями;• ключевыми преимуществами;• целевым сценарием использования;демонстрацией на практике.Ждем вас!Регистрация по ссылке.Узнать больше о п…

За 200$ в месяц ChatGPT никто не пробовал в работе?

Весь LinkedIn пестрит постами про Apache Iceberg. Посты писать уже не достаточно, нужно снимать видео, как вот на S3 создали Iceberg таблицу, запустили Spark и написали запрос. Все твердят о том, как Apache Iceberg одержал победу над Delta, Hudi и стал главным форматом таблиц. Кстати, на последних собеседованиях уже начали спрашивать про Iceberg и DuckDB. Не важно, какая у вас роль, если вы работаете с данными, вы должны знать про Apache Iceberg и понимать суть и сценарии использования. Apache Iceberg - это формат таблиц (не путать с типом файла!). Когда мы сохраняем наши данные в storage layer, например в формате Parquet, мы добавляем метаданные:- Metadata file - содержит информацию об общ…

Теперь вы знаете как делать топ конференция! Там реально можно набить татуху с AWS сервисом или мультяшкой! Не благодарите за идею к вашему следующему ивенту и новогодним корпоративам))

O’Reilly анонсировала новую книжку - AI Engineering: Building Applications with Foundation ModelsRecent breakthroughs in AI have not only increased demand for AI products, they've also lowered the barriers to entry for those who want to build AI products. The model-as-a-service approach has transformed AI from an esoteric discipline into a powerful development tool that anyone can use. Everyone, including those with minimal or no prior AI experience, can now leverage AI models to build applications. In this book, author Chip Huyen discusses AI engineering: the process of building applications with readily available foundation models.The book starts with an overview of AI engineering, explai…

В последнее время было тихо у AWS на фоне AI. Они просто ждали свою конференцию re:Invent, чтобы анонсировать все. Уже все написали за нас, осталось попросить chat gpt перевести:Amazon на этой неделе решил действовать жестко. Они только что анонсировали собственные foundation models, на 75% дешевле. Плюс AI Chips. Плюс суперкомпьютер. Они нацелились на ВСЕХ. Это похоже на скоординированную атаку на всех основных фронтах искусственного интеллекта. Amazon одновременно бросает вызов OpenAI/Microsoft в области foundation models, NVIDIA в разработке чипов, xAI в суперкомпьютерах, и заручается поддержкой мощных союзников, таких как Anthropic и Apple. Кстати, SAP в восторге от этого. 1. Доминирова…

И в продолжение последних нескольких постов про Apache Iceberg - Announcing Amazon S3 Tables – Fully managed Apache Iceberg tables optimized for analytics workloadsТо есть можно сразу писать в S3 и подключать SQL/Compute engineer. Все в одно месте. Будет интересно смотреть как дальше все будет развиваться.# создаем таблцу в S3$ aws s3tables create-table-bucket --name jbarr-table-bucket-2 | jq .arn"arn:aws:s3tables:us-east-2:123456789012:bucket/jbarr-table-bucket-2"# переменная с ARN бакета$ export ARN="arn:aws:s3tables:us-east-2:123456789012:bucket/jbarr-table-bucket-2"# получаем список таблиц в S3$ aws s3tables list-table-buckets | jq .tableBuckets[].arn"arn:aws:s3tables:us-east-2:12345678…

Snowflake знают все, даже если вы его никогда не использовали, но если вы работаете в области аналитики данных или инжиниринга данных, вы точно о нём слышали.Главная его особенность заключается в том, что Snowflake фактически создал концепцию Lake House до того, как она стала популярной в 2020-2021 годах. Идея заключалась в разделении Compute (вычисления на виртуальных машинах) и Storage (хранение данных на S3, Azure Storage, GCP Storage). То есть все данные хранятся в одном большом хранилище (storage), а вычисления могут выполняться на любом подходящем ресурсе. Речь, в данном случае, о кластерах Snowflake (Compute Warehouse). Единственный недостаток этой технологии — данные хранятся в закр…

Недавно я писал про приятный инсайт и русский линкедин. Но теперь мне хотелось бы поделиться инсайтом, какие посты я вижу. Там почти не пишут про инструменты или архитектуру, или про какие-то вещи с индустрией. Если полистать и присмотреться, что пишут, то оказывается что каждый второй, если не каждый первый пост будет попадать в следующую категорию:- HR (бывшие) теперь консультанты и коучи, могут быстро прокачать вас до нужного уровня, составить резюме и помочь найти работу.- Специалисты (особенно в области product), могут вас поменторить и прокачать, составить резюме и помочь найти работу.- Success stories как кто-то нашел работу благодаря консультации тех самых специалистов- Скриншоты пе…

Визуализация из Канадской действительности - Shopify нарисовал карту доставок 1 Ноября 2023 - 31 Декабря 2023:Shopify attached the above image in the letter, claiming it illustrates domestic urban and rural orders (in blue and red, respectively) from Shopify merchants that were fulfilled by Canada Post from Nov. 1, 2023 to Dec. 31, 2023. Shopify said a 2024 map “wiped clean” due to prolonged strike action would “devastate” the economy. Open letter claims at least 67,000 Shopify-powered small businesses rely on Canada Post.Даже я сам affected от такого беспредела, потому что не могу заказать в своем же магазине shop.surfalytics.com себе же одежду и подарки знакомым.Canada Post мусолит эту те…

DuckDB посчитал быстрей кол-во строк в CSV, чем UNIX wc -l.Unix:time wc -l services-2023.csv21239394 services-2023.csvwc -l services-2023.csv 2.66s user 0.29s system 99% cpu 2.966 totalDuckDB:time duckdb -c "select count(*) from read_csv('services-2023.csv', header = false)"count_star()int6421239394duckdb -c "select count(*) from read_csv('services-2023.csv', header = false)" 11.17s user 0.57s system 930% cpu 1.261 totalЕсли еще не начали использовать, то самое время попробовать.Из DuckDB white paper:Перевод как обычно 🙌 DuckDB — это встроенная аналитическая база данных с открытым исходным кодом, созданная для выполнения аналитических SQL-запросов непосредственно внутри процесса хост-прилож…

Приглашаем тебя на крутое IT-мероприятие, посвящённое AI и передовым технологиям разработки рекомендательных систем.Регистрируйся, и в день мероприятия мы пришлём тебе ссылку на трансляцию. Или приходи очно, если ты живёшь в одном из городов.Где и когда?👉 Нижний Новгород, 5 декабря👉 Санкт-Петербург, 6 декабряТебя ждут крутейшие доклады, живая дискуссия и новые знания в сфере рекомендательных систем.Количество мест ограничено — успей занять своё и прикоснуться к миру рекомендательных систем! 😉

В статье SSDs Have Become Ridiculously Fast, Except in the Cloud затронули интересную тему.SSD диски сейчас стали лучше и быстрей. Но оказывается, что облачные провайдеры AWS, Azure, GCP не спешат заменять свой парк, и их диски до сих пор на уровне 2017 года.Получается, аналитика (и не только) on-premise может быть быстрей и дешевле. Другой вопрос, что делать если вы купили on-premise железо в 2017 и ранее, не выкидывать же его

Что почитать этой осенью?Холодные осенние вечера — идеальное время, чтобы после работы сесть в любимое кресло, налить себе какао и почитать что-нибудь интересное. И у нас даже есть идея, что бы такого душевного почитать — лонгрид про распределенные системы с подборкой полезных ссылок. Хватит не на один вечер!Правда, здорово? ❤️Мы уже как-то раз писали про похожий материал: гайд по распределенным системам главного научного сотрудника MongoDB Research. Но там подход был очень основательный, со ссылками на целые книги и курсы.Сегодняшний материал попроще. Он знакомит с основными понятиями и подкидывает ссылки на ключевые научные работы и статьи в Википедии. Самое то, чтобы усвоить главное и да…

Поговорим про данныеЕсли ищете, чего бы такого послушать или посмотреть про аналитику, датавиз и карьеру в дата-сфере, у нас для вас целых 13 вариантов.💬 Первые 12 собрал на графике аналитик Kevin Wee (не будем транскрибировать имя и фамилию, чтобы не ошибиться). Он подсчитал количество эпизодов в каждом, частоту выхода и продолжительность. Сразу видно, кто выпускает контент стабильно, у кого основательные часовые эпизоды, а у кого — короткие лайтовые на 15-30 минут.Важно: они все на английском, а информация об эпизодах спарсена со Spotify — выходят ли подкасты на других площадках, надо проверять дополнительно. Так что послушать из России может быть сложновато.🔜 Но не расстраивайтесь! Вот 1…

Вакансия в Valiotti Analyitcs: менеджер BI-проектовДата-консалтинг Valiotti Analytics с 2019 года строит системы сквозной аналитики компаниям из диджитал-сфер — эдтехам, финтехам, ритейлерам, екомам, разработчикам приложений и геймдеву. Сейчас мы ищем менеджера проектов.💙 И кстати: LEFT JOIN — проект Valiotti Analytics. Так что человека ищем не абы куда, а к себе команду.Главное, что надо будет делать:🔵 Координировать и контролировать работу над проектами, ставить сроки и цели.🔵 Взаимодействовать с клиентами, командами проектов и другими департаментами компании.🔵 Развивать и улучшать процессы работы над проектами.Какие требования?🔵 Опыт работы над ИТ-проектами от 2 лет (идеально, если этот …

ChartDB — бесплатный редактор диаграмм БДМало что радует так же сильно, как когда находится простой, полезный и бесплатный инструмент, который можно вот просто взять и начать использовать без регистраций и SMS.ChartDB — как раз такой. Это open source тул, который создает схемы БД за один запрос и 15 секунд.🔵 Можно запустить локально (за инструкциями идем на гитхаб), также есть веб-версия.🔵 Работает с PostgreSQL, MySQL, SQL Server, MariaDB, SQLite и🔵 Получившиеся схемы можно редактировать, дополнять комментариями или экспортировать в виде картинок, если вы захотите добавить их в отчет или документ.Все это бесплатно, однако есть но. ChartDB пока находится в публичной бете, так что со временем…

Про бизнес, маркетинг и истории успехаПонедельник, когда вы возвращаетесь к любимой работе и доделываете недоделанное с пятницы, — лучший день, чтобы задуматься о своем деле. Без этого вашего корпоративного рабства.Но вот вопрос — с чего начать? Чем заниматься? И где вообще брать идеи для бизнеса?🔵К счастью, в телеграме найдется все. Например, канал Макса Иванова, который пишет про бизнес и маркетинг: новости, громкие рекламные кампании и завирусившиеся в соцсетях тренды.🔵Вот вам пример — в Китае придумали ватные палочки с йодом. Теперь китайцы могут нарисовать йодную сеточку, не таская с собой бутылек с лекарством. Чем не идея для бизнеса? Берите в оборот, пока вас никто не опередил!🔜 На к…

«Я всегда верил, что главное “попасть” куда-то, зацепиться, а там уже пробиваться наверх»В гостях Дмитрий Аношин — автор канала Инжиниринг Данных и основатель проектов Datalearn, Surfalytics, Rock Your Data. О чем мы поговорили? 🔵 О планах поработать инженером-конструктором на немецком заводе.🔵 Об отсутствии финансовых перспектив в машиностроении.🔵 О лучшем способе «зайти в Data»🔵 О классных проектах в Amazon и Microsoft.🔜 Подробности — в канале Карьера в Data | LEFT JOIN

Примите участие в исследовании рынка труда для аналитиков!Наши друзья из NEWHR вновь проводят исследование рынка дата-труда. Они опрашивают маркетинговых, продуктовых и дата-аналитиков об условиях работы, уровнях зарплат и обязанностях.Такие исследования они проводят с 2018 года, проводили и в прошлом году, и вот здесь можно найти результаты.Этот проект помогает узнать несколько важных вещей.🔵 Средние по рынку зарплаты для разных специальностей и грейдов, а также их динамику.🔵 Ожидания от аналитиков — то есть, выполнения каких задач от них хотят работодатели.🔵 Перспективные отрасли и компании, в которых аналитикам лучше всего работается.🔵 Список экспертов и профессиональных ресурсов, популя…

Kotlin для анализа данныхЧто мы все про SQL да SQL ­— не только ведь его можно использовать для работы с данными. Взять, например, Kotlin. У него есть целый набор инструментов для анализа и датавиза.🔵 Библиотека Kotlin DataFrame позволяет работать со структурированными данными в форматах CSV, JSON, XLS и XLSX. С ее помощью можно сделать выгрузку, фильтровку, сортировку, агрегацию — в общем, те же операции, что обычно совершаются SQL-запросами.🔵 Библиотека с милым названием Kandy предназначена для визуализации данных и умеет рисовать все самые популярные и распространенные виды графиков: линейные, гистограмы, тепловые карты, точечные диаграммы и так далее. Получается вполне симпатично и инфо…

Данные есть, а смысла нет: как мы починили аналитику французскому эдтехуСделать классную аналитику — это как наконец-то купить подходящие очки. Жить становится настолько удобнее, что не понимаешь, как обходился без этого раньше.Но что делать, если у компании уже есть аналитика, с базами и дашбордами, а пользы это не приносит? Инсайты не ловятся, а деньги и ресурсы на всю эту инфраструктуру все равно тратятся?🔵Короткий ответ — переделывать.🔵Длинный — в новой статье на vc.ru → https://vc.ru/dev/1589666-dannye-stali-tochnee-a-rashody-snizilis-v-225-raza-kak-my-sdelali-analitiku-francuzskoi-kompanii-mentorshow В ней рассказываем про то, как мы пересобрали систему аналитики французскому эдтеху M…

ТОК 2024: конференция для малого и среднего бизнеса14 ноября в Москве пройдет конференция о том, как развивать и растить бизнес — причем во всех направлениях, от улучшения качества продукта до расширения географии.Мероприятие рассчитано на предпринимателей: как новичков, которые только-только запустили свой проект, до руководителей уже устоявшихся, стабильных компаний. Они смогут послушать разборы кейсов и дискуссии приглашенных экспертов, посетить мастер-классы и воркшопы.🔜 Кстати, о приглашенных экспертах: обещают, среди прочих, выступления от Кофемании, FITMOST, Точки, Ясно и The Blueprint.Конференция будет разделена на три трека:🔵Стратегии — про масштабирование бизнеса и создание бренда…

Что есть на дашборде с результатами исследования онлайн-школДля начала напомним, зачем вообще это все было нужно.🔵 Узнать, какие онлайн-курсы для аналитиков наиболее востребованы.🔵 Разобраться, помогает ли онлайн-обучение найти новую работу и прокачать скиллы.🔵 Сравнить, как изменилась — и изменилась ли — ситуация по сравнению с 2021 годом, когда мы проводили первое такое исследование.🔜 Итоги видно на дашборде. Серыми полосками отмечены ответы в 2024, синими линиями — в 2021.🔵Больше всего людей проходили курсы от Яндекс Практикума, но оценки у него не самые высокие, хоть и неплохие — 7,9 баллов (на 0,3 ниже, чем в 2021).🔵Лучше всего оценили курсы от Simulative — 8,8 баллов. Платформа появил…

«Уверенность в своей работе ко мне пришла, наверное, только года три назад — до этого со мной всегда было ощущение, что ничего не получится»В гостях Роман Бунин — специалист по визуализации данных и развитию BI-систем, автор Telegram-канала Reveal the DataО чем поговорили?🔵 О работе инженером-электротехником на заводе.🔵 Как пришел в BI.🔵 Какой он — идеальный образовательный микс.🔵 Об уверенности в собственных навыках и неэффективности инструментов для визуализации данных.🔜 Подробности — в канале Карьера в Data | LEFT JOIN.А еще 26 октября стартует курс «Дашборды и аналитические инструменты», который Роман запускает совместно с Татьяной Мисютиной. Делимся с вами промокодом LEFTJOIN, который …

🔜 Основной канал ниже:t.me/leftjoint.me/leftjoin

Channel created

Как дела у BI в России в 2024?Расскажут на мероприятии с говорящим названием Russian BI Forum’24.Форум пройдет 14 октября в Москве в Инновационном кластере МГУ «Ломоносов». В программе пленарная дискуссия про будущее BI, мастер-классы и доклады от вендоров и экспертов по аналитике.Про что будут говорить?🔵 Кейсы и опыт внедрения BI-систем.🔵 Тенденции и тренды индустрии.🔵 Выбор BI-систем: отличия, особенности, российские аналоги ушедших с рынка инструментов.Вариантов участия два:1️⃣ Стандарт, который дает доступ к пленарной сессии, докладам и фуршету,2️⃣ Стандарт + мастер-классы. За участие в последних дадут сертификат.Оба платные, но по промокоду LEFTJOIN можно купить билет со скидкой 35%. О…

Работа с датой и временем в SQLiteВ sqlite есть встроенные функции для работы с датами, но они мне всегда не слишком нравились.Поэтому разработал расширение sqlean-time. Оно поддерживает точность вплоть до наносекунд и предоставляет удобное структурированное API с большим количеством функций.https://antonz.org/sqlean-time

Современный SQLite: Вычисляемые столбцыВычисляемые (generated) столбцы рассчитываются на основании других столбцов той же таблицы. Например, мы можем рассчитать процент отказов на основе количества запросов:create table stats ( date text, n_total int, n_failed int, fail_perc as (n_failed*100.0 / n_total));Другой распространенный сценарий — вытащить поле JSON-документа в отдельный столбец, и при необходимости проиндексировать его:create table events ( id integer primary key, event blob, etime text as (event ->> 'time'), etype text as (event ->> 'type'));create index events_time on events(etime);insert into events(event) values('{"time": "2024-05-01", "type": "credit"}'),('{"time": "2024-05-0…

Современный SQLite #1: STRICT-таблицыЯ начинаю марафон! Но не марафон желаний 😅 Буду вкратце рассказывать о полезных функциях современной SQLite, про которые вы (возможно) не слышали.Начнем со «строгих» таблиц.Как вы наверняка знаете, SQLite обладает гибкой системой типов (за что некоторые даже называют ее «джаваскриптом в мире СУБД»). Вы можете хранить любые значения в столбцах любых типов: например, строки в INTEGER-столбце или бинарные данные в REAL-столбце.Кто-то любит SQLite за эту гибкость, другие ненавидят за нее же. Поэтому в какой-то момент авторы SQLite добавили «строгие» (STRICT) таблицы:create table people ( id integer primary key, name text, salary real) strict;Они проверяют ти…

Можете часами говорить про аналитику?Вдохновляйте наших студентов!Яндекс Практикум в поисках автора, который поможет нам создать курс по продуктовой аналитике. Что делает автор курса?Разрабатывает уроки, тесты, чек-листы, а если шире, то его задача так упаковать свой опыт, чтобы заинтересовать, объяснять и мотивировать. Если вы обладаете опытом работы в этой области и умеете объяснять сложные вещи простым языком, то эта позиция для вас. ➡️ Откликнуться

💠 Вы готовы к следующему карьерному шагу в роли DWH-аналитика? Узнайте, как пройти собеседование и получить работу мечты.На открытом уроке разберем реальные кейсы из интервью на позицию Data Warehouse Analyst, подготовимся к типичным вопросам и выясним, какие навыки выделяют успешных кандидатов.Подготовьтесь так, чтобы даже сложные вопросы на собеседовании не застали вас врасплох. Узнайте секреты, которые помогут вам занять позицию уровня Middle+.Спикер Алексей Железной — Senior Data Engineer с большим опытом и широким технологическим стеком. ⏺Встречаемся 4 декабря в 20:00 мск. Участникам урока – скидка на участие в курсе «Data Warehouse Analyst». Регистрируйтесь: https://clck.ru/3EzcAEРекл…

Как готовить данные для анализа с помощью ETL? Чтобы освоить основы инжиниринга данных регистрируйтесь на бесплатный вебинар от Simulative 💬Спикер Даниил Джепаров, lead analytics engineer в Сравни.ру, расскажет о том, как извлекать данные из разных источников, а затем преобразовывать и загружать их в хранилище. Вы узнаете:🟡 Что такое ETL и как он работает🟡 Какие есть различия между пакетной и потоковой обработкой🟡 Какие виды документации используют в дата-проектах🟡 Как оценивать и поддерживать высокое качество данных🟡 Как мониторить ETL-процессыВ конце вебинара вас ждет бонус от спикера — дорожная карта для аналитиков и инженеров с планом развития на middle-позицию 🎁Встречаемся 4 декабря в …

Как упростить сложную бизнес-аналитику с помощью OLAP?Расскажем на бесплатном вебинаре СберТеха «Platform V OLAP Analytics — бизнес-эффекты от интерактивного анализа данных».Приходите на вебинар, чтобы:• Разобраться, зачем нужна OLAP-технология и где могут пригодиться OLAP-кубы.• Познакомиться с инструментом для интерактивного анализа данных Platform V OLAP Analytics, узнать об основных функциях, преимуществах и сценариях использования.• Посмотреть демо решения Platform V OLAP Analytics и задать вопросы эксперту — владельцу продукта.Когда: 12 декабря в 11:00.Кому будет полезно: бизнес-аналитикам, руководителям аналитических отделов, CDO и CTO.Регистрируйтесь!

Бесплатный онлайн-вебинар от karpov courses — «A/B тестирование на практике с Анатолием Карповым».Все мы знаем, что цена ошибки в бизнесе — не только тысячи нервных клеток. Часть из них точно можно избежать, применяя в процессах А/B-тесты. Поэтому специалисты в этой области ценятся на рынке, а их зарплаты непрестанно растут.Если вы хотите углубиться в эту тему с нуля или апгрейднуть свои скиллы — пятого декабря присоединяйтесь к бесплатному онлайн-вебинару «A/B тестирование на практике с Анатолием Карповым», с CEO karpov courses и ex ведущим аналитиком VK.Сплитование трафика, контроль ошибок, работа с необычными распределениями, проведение А/А-тестов, это лишь малая часть задач, с которыми …

На Хабре вышла статья об оценке умений LLM-моделей, и это интереснее, чем может показаться на первый взгляд.Традиционно считается, что интеллект LLM можно измерить как человеческий — с помощью тестов и экзаменов. Отсюда и появились многочисленные академические бенчмарки. Но эти тесты упускают главное: LLM создаются не для решения ЕГЭ, а для реальных задач — ведение диалога, перевод, суммаризация, брейншторминг. К тому же все бенчмарки подвержены протечкам данных — тестовые задания попадают в тренировочные наборы, искажая результаты.LLM-модели не имеют той внутренней картины мира, которая есть у людей. Для нас вопрос «стоит ли брать кирпичи на пляж» звучит абсурдно, а для модели этот ответ с…

Неделя IT-донора: масштабируем добро С 2 по 7 декабря пройдёт девятая акция IT-донор. Это социальный проект Artsofte. Его цель — создать донорское сообщество из специалистов IT-отрасли, которые готовы сдавать кровь. Идея сплотила комьюнити: проект стал федеральной акцией, привлёк более 650 IT-компаний и 40 Министерств. В прошлую акцию: ❤️ Зарегистрировалось более 2600 добровольцев из 200 городов России; ❤️ Сдали почти 500 литров крови, которые помогли спасти жизни людей со всей России. И это не предел — ведь скоро стартует декабрьская акция IT-донор. Как участвовать в акции? 1. Регистрируйтесь через чат-бот IT-донора до 7 декабря включительно; 2. Приходите с 2 по 7 декабря сдавать кровь на …

Приглашаем тебя на крутое IT-мероприятие, посвящённое AI и передовым технологиям разработки рекомендательных систем.Регистрируйся, и в день мероприятия мы пришлём тебе ссылку на трансляцию. Или приходи очно, если ты живёшь в одном из городов.Где и когда?👉 Нижний Новгород, 5 декабря👉 Санкт-Петербург, 6 декабряТебя ждут крутейшие доклады, живая дискуссия и новые знания в сфере рекомендательных систем.Количество мест ограничено — успей занять своё и прикоснуться к миру рекомендательных систем! 😉

🌐 Хотите вывести свои скиллы в аналитике данных на новый уровень? На открытом уроке разберем оконные функции, их синтаксис и практическое применение для сложных аналитических задач.Спикер Андрей Поляков — старший разработчик сервисов платежных систем в Unlimint.Вы узнаете, как использовать PostgreSQL для ранжирования, суммирования и создания отчетов. Эти навыки ценят компании-лидеры!➡️ Урок пройдет 27 ноября в 20:00 мск. Регистрируйтесь сейчас — участники получат скидку на большое обучение «Data Warehouse Analyst»: https://clck.ru/3EpsWZРеклама. ООО «Отус онлайн-образование», ОГРН 1177746618576

Сегодня подготовили для вас целую подборку каналов в сфере “IT и Технологии” 📚Тут вы точно найдете ответы на многие свои вопросы. А главное - вам не придется, тратить на поиски информации несколько часов 😊 👇Поэтому переходите, подписывайтесь и пользуйтесь на здоровье 📂😉 Хотите подборку?

Что инженер данных должен уметь в Kubernetes?➡️ Запускать Apache Spark➡️ Деплоить распределенные файловые системы и базы данных➡️ Разворачивать сервинг ML-моделей на KServe, Seldon Core, Bento+Yatai9 декабря учебный центр Слёрм запускает новый поток курса «Kubernetes для разработчиков». Внутри — глубокий разбор куба с точки зрения приложения.В программе:🔸 Внутреннее устройство куба🔸 Управление сервисами🔸 Работа с кластером и управление кластеромОБНОВИЛИ ПРАКТИКУ в августе 2024 года 🔸7 недель обучения🔸7 встреч со спикерами🔸76 часов практики и работы со стендами🔸Итоговая сертификация🎁 Видеокурс по основам Docker в подарокСтарт потока: 9 декабряИзучить программу курса и занять место ➡️ по ссыл…

Импульс Т1 — конференция для тех, кто меняет мир! 🦾💡 Что стоит за великими открытиями и масштабными проектами? Конечно, импульс! Импульс Т1 — ИТ-конференция для тех, кто ценит точность, стремится к новым открытиям и жаждет творческого огня. 🔥 Вас ждут: 🟣вдохновляющие лекции от ведущих специалистов,🟣интересные дискуссии экспертов рынка ,🟣нетворкинг и вечеринка late night lab,🟣питчи идей и еще много интересного.🌟 На площадке соберутся разработчики и ИТ-инженеры , представители бизнес-сообщества и молодые ученые, студенты инженерных и ИТ-направлений, эксперты и партнеры Холдинга Т1. О чем поговорим?🔹 Как создавать условия для развития бизнеса и выращивать высокотехнологичных лидеров рынка?🔹 Ка…

Импульс Т1 — конференция для тех, кто меняет мир! 🦾💡 Что стоит за великими открытиями и масштабными проектами? Конечно, импульс! Импульс Т1 — ИТ-конференция для тех, кто ценит точность, стремится к новым открытиям и жаждет творческого огня. 🔥 Вас ждут: 🟣вдохновляющие лекции от ведущих специалистов,🟣интересные дискуссии экспертов рынка ,🟣нетворкинг и вечеринка late night lab,🟣питчи идей и еще много интересного.🌟 На площадке соберутся разработчики и ИТ-инженеры , представители бизнес-сообщества и молодые ученые, студенты инженерных и ИТ-направлений, эксперты и партнеры Холдинга Т1. О чем поговорим?🔹 Как создавать условия для развития бизнеса и выращивать высокотехнологичных лидеров рынка?🔹 Ка…

Кому в корпоративном мире нужна BI-аналитика?⤵️ Приглашаем вас на открытый вебинар 21 ноября в 20:00 мск, где вы узнаете, как аналитика помогает бизнесу принимать взвешенные решения и кто нуждается в этих данных для успеха компании.Сегодня BI-аналитика — один из ключевых факторов успеха в бизнесе. На вебинаре мы обсудим, кому и зачем она нужна, какие задачи она решает и как ее внедрение помогает компаниям на практике.✔️ В программе вебинара — полезные примеры использования аналитики на реальных кейсах: от IT до ритейла. ✔️ Узнайте, как BI помогает формировать Data Driven подходы и в чем ее польза для ваших проектов. Особенно полезно для аналитиков данных и специалистов, которые хотят внедри…

Внимание всем любителям красивых дашбордов и качественной аналитики!22 ноября в Москве состоится мощнейший очный Дельта Day!Что вас ждет:- детальная информация по возможностям генеративной бизнес-аналитики в лучших традициях self-service- участие в битве возможностей Power BI и Дельта BI с участием Марии Гришиной, ведущей канала «Power BI Design»- подробности о лучших практиках миграции с различных систем бизнес-аналитики на примере реальных кейсов.Не пропустите!Количество мест ограничено.Переходите по ссылке в начале поста и регистрируйтесь!

https://github.com/ClickHouse/ClickHouse/pull/71542Я обещал ничего не рассказывать про Iceberg какое-то время, но такого обещания не было про Clickhouse.Однако новость выше не могу пропустить! 🔥Clickhouse в процессе добавления поддержки Iceberg каталога (на скриншоте пример чтения из Apache Polaris)@ohmydataengineer - канал "🕯Труба Данных" не нарушает своих обещаний!.

https://www.uber.com/en-BG/blog/d3-an-automated-system-to-detect-data-drifts/Статья 2-х годовалой давности, но все также интересная. О том как Uber работает с Data Drift для своих ML моделей.@ohmydataengineer - канал "🕯Труба Данных" это коротко и интересно.

https://vutr.substack.com/p/i-spent-6-hours-learning-apache-arrowДолго для вас хранил мяготку, никому не отдавал, но пришло время - мне оч нравится этот блог и как статьи пишет автор в нем. Погружается достаточно глубоко в детали и очень все доступно поясняет. Как пример - как работает Apache Arrow.Потыкайте в его блог, там еще очень много всяких интересных чтив.@ohmydataengineer - канал "🕯Труба Данных" не прячет от вас крутые блоги и статьи и не переписывает их своими словами

https://dataengineeringcentral.substack.com/p/10-billion-row-challenge-duckdb-vsЗабавная статья о том, как сравнивали на одной машинке DuckDB, Polars и Daft и что из этого вышло. Первый так вообще какое-то время назад был из каждого утюга, но в итоге я пока не видел ни одного хорошо нагруженного production-ready решения. А в статье выше решение из коробки жиденько обделалось с датасетом на 16 гигов из Parquet. Причем в прошлом году, кажется, я читал пост этого же автора, с DuckDB были все те же проблемы с ООМ.Конечно, тест можно было бы провести и поглубже, ну как минимум не один раз (для сравнения). Ну да ладно. (По работе, возможно, предстоит потрогать Rust, поэтому и смотрю на статьи, св…

В качестве пятничного юмора вашему вниманию представляется экспонат "Полочка" или что такое мутации в Clickhouse на больших объемах 😁@ohmydataengineer

https://xtable.incubator.apache.orgНаплодили форматов разных для таблиц, кто это будет все вместе собирать? Iceberg, Hive, Hudi, Delta Lake и так далее.У Apache теперь появился X Table, тулза чтобы синхронизировать метаданные среди этого всего зоопарка.@ohmydataengineer - канал "🕯Труба Данных" который держит обещание и не пишет про Iceberg (почти).

https://vutr.substack.com/p/datahub-the-metadata-platform-developedХороший вводный пост про то, как устроен и эволюционировал DataHub (это который каталог данных).У автора, на самом деле, оч неплохой блог и интересные посты, глубже, чем стандартная писака в инторнетах, с погружением в детали. Полистайте его блог, там много интересного.@ohmydataengineer - канал "🕯Труба Данных" который делится интересным блогом про датку

https://clickhouse.com/blog/a-new-powerful-json-data-type-for-clickhouseВ продолжении разговора про JSON и Clickhouse, последние в своем блоге выкатили мяготки-внутрянки про то, как же под капотом работает новый нативный тип JSON.@ohmydataengineer - канал "🕯Труба Данных" все еще радуется как ребенок JSON

Я люблю смотреть футбол и горячо поддерживаю Челси в АПЛ. Там Oracle Cloud и Opta во время игры показывают всякие live-статистики о том, кто сколько пробежал, сколько касаний сделал в штрафной и так далее. Наткнулся на очень прикольный доклад про то, как это все работает (путь и в испанской La Liga, но суть понятна)https://www.youtube.com/watch?v=yncU9F_FK8Y@ohmydataengineer - канал "🕯Труба Данных" продвигает датку в спорте

Как говориться - "как корабль назовешь" (не на правах рекламы, за название - пятерка)Закрома – передовое российское ПО для хранения и управления корпоративными даннымиГибридное хранилище, предназначенное для безопасного и экономичного хранения и управления корпоративными данными произвольного формата в крупных организациях.ЗАКРОМА обеспечивает быстрый поиск, предоставляет API для удобного взаимодействия и обладает мощным контролем доступа. В основе ЗАКРОМА лежит современный стандарт S3, который позволяет создавать высоконадежное хранилище для эффективного хранения больших объемов данных.https://zakroma.ru/

Я не мог не перепостить эту новость!Нейминг просто 🔥

Кстати...

https://www.youtube.com/@ApacheAirflow/videosApache Airflow Summit 2024 видосики подъехали!Из интересного:- Видео про roadmap- Performance tuning- Event-driven DAGs Не шибко густо и много, но в целом норм. Для поддержания актуальных знаний - хватит.@ohmydataengineer - канал "🕯Труба Данных" который продолжает следить за Airflow

https://jack-vanlightly.com/blog/2024/8/7/table-format-comparisons-how-do-the-table-formats-represent-the-canonical-set-of-filesЯ ж вас точно заколебал своим Iceberg (ну правда, из каждого угла, даже обещал ничего не постить про него). Так вот табличных форматов, на самом деле, больше: Delta Lake, Apahce Hudi, и так далее. Вы знали, что у Apache есть еще и Paimon?Хорошая статья (а в блоге еще и несколько других сценариев сравнения, например, при CDC) про сравнение этих табличных форматов.@ohmydataengineer - канал "🕯Труба Данных" заколебался слушать про айсберг

Data Apps Design pinned «Блог переехал 🌐 @data_apps»

Блог переехал 🌐 @data_apps

Channel name was changed to «Data Apps Design»

😭 как я не прошёл «собес» в ABBYсходил на подкаст к Кире Кузьменко, поговорили в формате мок-интервьюhttps://t.me/kirafound/1861ещё год назад я бы точно не рискнул публично собеситься — да ну его! но в последнее время стал спокойнее ко всему относиться: даже «отказ» это тоже новый опыт. тем более в этом случае была полезная обратная связь от Киры и Татьяны.было интересно поговорить и ещё более интересно узнать «как надо».→ главный вывод, который я для себя сделал — надо готовиться к собесам (ваш кэп!) и хотя бы гуглить непонятные слова из вакансии. по своим другим вакансиям я обычно знал ключевые технологии и их особенности, но конкретная эта вакансия была чуть в стороне: про обработку данн…

⚖️ собесы: дисбаланс за столомбывало на собесе сижу-пыхчу над задачкой, отбрасывая варианты один за другим, в итоге в муках порождаешь вроде-ничего-такое решение… только для того, чтобы интервьюер на той стороне нашёл там несколько критичных багов, и не особо запариваясь при этом. в такие моменты я чувствовал себя совсем тупым. ну или как минимум тупее интервьюера (а значит, тупее среднего сотрудника целевой компании!) 🤦‍♂️и хотя интервьюер действительно может быть умнее собеседуемого, в конечном итоге в этом вся идея: лиды собесят к себе в команду, синьоры собесят миддлов и т.д.; всё-таки не стоит забывать что человек на той стороне скорее всего проводит не первый собес, а значит уже набил…

🦖 как вытаскивали динозавра в опенсорскаджый яндексоид знаком с «ытём» — система хранения данных с sql-подобным доступом. я бы сказал, что YT находится в центре всех процессов яндекса, которые завязаны на анализ данных (это получается, практически всех?)(недавно осознал, насколько это внушительный буст для команды, когда у тебя по дефолту уже есть данные в нужном месте и доступная инфра, чтобы быстро начать ими пользоваться)а с не давних пор, посмотреть на этого дивного зверя могут все желающие — теперь YTsaurus доступен в опенсорс. ↓ доклад с прошлогоднего хайлоада с отчётом и рефлексией команды по итогам первой фазы этого эпического движа (да-да, с офф. релизом работа только началась))⌘ о…

🤑 как я искал валютную удалёнкукогда я понял (ещё будучи в Стокгольме), что где-то осенью уже точно буду менять работу, я начал прикидывать варианты.на тот момент (и с той стороны границы) самым выгодным казался вариант «валютной удалёнки»: когда платят в валюте европейского уровня зарплату, а я сам буду попивать смузи у себя в Москве. в уме я рисовал себе картину как буду получать на руки 5-7к долларов хе-хе-хеда, схема подразумевает, что у меня будет открыто грузинское или армянское ип, куда будут переводить оклад. насколько я понимаю налоги там что-то порядка 1% и открыть можно условно за несколько дней пребывания на месте. звучит несложно и вполне легально.⌘я начал искать вакансии, откл…

за время своей безработности я поговорил-познакомился с десятком компаний: посмотрел как там устроен процесс собесов, как общается команда на встречах, что за стэк используют и какие планы у команды.среди всех начатых процессов мне запоминалась команда Купера (они же Sbermarket до июня 2024, а ещё раньше это был Instamart)начнём с того, что это был самый быстрый процесс: обратная связь после каждой встречи буквально на следующий день и минимальный интервал между встречами. можно считать, что зачёт на отсутствие бюрократии получен «автоматом».сам процесс был тоже без лишних этапов — быстрый скрининг и две секции: поговорить по душам за технику и потом за твой опыт и мотивациюв целом осталось…

🤓 подгтовка к собесам: список техвопросов в мой прошлый заход по поиску работы я исходил из довольно наивного подхода: вот я такой красивый работу работаю, по пути что-то узнаю новое, вот это и буду отвечать на собесах! если чего-то не знаю, то так тому и быть; типа за два часа не стану профи во всех вопросах.в итоге на интервью на вопрос «какую базу выберешь под задачу» отвечал «хехехе, постгрес!». и хотя по всё нарастающей универсальности последнего ещё можно было бы дожать ответ, если бы я был наглее и увереннее; но по факту интервьюеры прекрасно понимали по ответу, что других баз я просто не в курсе.в этот раз я решил подготовиться заранее: сделать список потенциальных тем, которые обыч…

👋 Саша Михайлов, безработныйпочти год назад я писал, как устроился в шведский финтех Klarna и уехал жить в Стокгольм. Раз уж написал начало истории, напишу и её окончание 😭что же случилось? не прошел перфоманс ревью? очередные лейоффы? Кларна закрылась? всё гораздо проще: семья не прижилась в новой стране и мы решили вернуться назадне зря говорят, что основная сложность при эмиграции приходится именно на плюсодинов. В отличие от супруги, у меня был и клёвый офис, куда можно было ходить, и живые люди с кем можно было пообщаться за жизнь; поэтому мне было гораздо проще адаптироваться и в целом я чувствовал себя на своём месте.в итоге семья уехала «на лето к бабушкам на родину», откуда потом р…

🥴 Reverse ETL — антипаттерн или норм?у меня тут недавно наконец-то сложилась картинка в голове! до этого краем уха слышал этот новый термин, но никак не мог переложить его на реальность. А потом увидел схемку где помимо стандартного направления источник → двхбыла дополнительная стрелочка:источник → двх → (обратно) источник в итоге понял, что видел уже два таких кейса и пока ощущения смешанные:1) считать бонусы определённому срезу сотрудников. был кейс когда ставка зависит от количества и статуса лидов например (или других штук, которые можно посчитать только в двх)2) сейчас есть задача передавать данные между микросервисами (разные команды): микросервис А производит данные, их сгружаем в ДВ…

😱 забанили в LinkedIn случилось страшное! дело было после мобилизации, когда я активно искал работу за бугром. каждый день я стабильно искал дата-вакансии и откликался сначала на интересные, а потом и просто на все более-менее подходящие. Из всех откликов…

🎙️сходил на подкаст обсудить кофе и дату↑ не было определённого плана, поэтому мы импровизировали; прошлись по основным этапам: предыдущие подходы к смене карьеры, приход в дата инжиниринг через курс по анализу данных, поэтапную смену компаний, поиск работы и переезд в Швецию, и как тут у нас живется при победившем дата-меше. в эпизоде упоминали:⌘ доклады Жени Ермакова и Коли Гребенщикова про чудо-DWH в Яндекс GO, благодаря которым я загорелся идеей попасть туда;⌘ на один из предыдущих эпизодов подкаста, где гостем был Игорь Мосягин — поскольку он был в команде дата-платформы, там было много сочных деталей типа админстрирования Редшифта на 2к пользователей и мотивацию к документации.

136 (S5E21). Будни дата-инженераВ гостях у подкаста 🎙"Data Coffee" Саша Михайлов, дата инженер ( Telegram⁠, LinkedIn⁠)Обсудили:• кофе• дата инженер• нужен ли CDO для data mesh• карьерный путь• переезд в Швецию• деанон по фитнес-трекеру• детские сады района• почему дата инженер• pet projects• как развиватьсяСайт: ⁠⁠⁠⁠⁠⁠⁠⁠https://datacoffee.link⁠⁠⁠⁠⁠⁠⁠⁠Telegram: ⁠⁠⁠⁠⁠⁠⁠⁠https://t.me/datacoffee⁠⁠⁠⁠⁠⁠⁠⁠Mastodon: ⁠⁠⁠⁠⁠⁠⁠⁠https://techhub.social/@datacoffee⁠⁠⁠⁠⁠⁠⁠⁠Чат подкаста: ⁠⁠⁠⁠⁠⁠⁠⁠https://t.me/datacoffee_chat⁠#datacoffee #data #podcast #данные #подкаст #кофе #coffee Где слушать🎧:— Бот-плеер— RSS feed — YouTube — Остальные площадки

💊 реал биг дата!у меня начинает складываться ощущение, что проблема big data плавно смещается; сначала все боялись этих терабайт данных: как же их хранить, как обрабатывать и искать в них инсайты.сейчас вроде как залить сколько-угодно данных в ваши сноуфлейки с датабриксами уже научились. если что, просто докинуть чуток компьюта — ведь если удалось накопить столько данных, то где-то рядом должен быть и бюджет на их перекладывание.теперь же встала другая проблема — среди этих десятков тысяч залитых и нагенерированных сущностей найти ту самую! × как посчитать активных юзеров за прошлый месяц?× как узнать сколько было возвратов?× как понять сколько бизнес заработал? (или потерял!)если спросить…

🛠️ Musk Engineering Algorithm читаю биографию Илона Маска, нахожу любопытным его подходИлона часто сравнивают со Стивом Джобсом: основатели культовых компаний, визионеры-провидцы, дотошные менеджеры, и оба в жизни что называется assholeв жизни Джобса был период, когда он управлял двумя компаниями одновременно: Apple и Pixar. Днём накручивал хвосты дизайнерам в Купертино, а после мчал на встречи с командой в Пиксаре. Есть версия, что именно этот период подкосил его здоровье, что в итоге способствовало развитию рака.не умалая достижений Джобса, Маск — это какой-то следующий уровень: управлять не двумя, а уже шестью семью компаниями одновременно. SpaceX, Tesla, Solar Roof, Neuralink, StarLink,…

🍎 Andy Pavlo & Amazon Redshiftа теперь к деталям: в Кларне — AWS, поэтому хранилище тут на Redshift. для знакомства с технологией посмотрел соответствующую серию из курса:https://youtu.be/T9-MM8oHzsM⌘⌘⌘в нулевых было несколько проектов по параллелизации Постгреса и к 2010 оставался только один, который не купили. В 2010 Амазон решила порядочно сэкономить: вместо покупки целого стартапа, они просто в него инвестировали. Это позволило ей получить лицензию на сам код.→ в 2013 выходит Redshift как продукт→ в 2016 запускается Athena — доступ через SQL к данным на S3 (типа как Hive, да?)→ в 2017 добавляется Spectrum — Redshift может напрямую читать данные с S3 без предварительного инджеста данных…

⚾ Andy Pavloменя покусал библиотекарь, поэтому перед тем как ввести новое действующее лицо, дам ссылку на общеизвестный факт. имя Andy Pavlo у меня прочно ассоциируется с базами данных: Andy = databases, databases = Andyу него есть открытый каталог всех баз данных, где уже есть ссылки на 998 (!) штукhttps://dbdb.io/ещё у него есть был стартап, который помогает тюнить клиентские базы данных с помощью мл: моделька на основе метаданных подкручивает настройки вашего постгреса в цикле с обратной связью. сами данные она не видит.https://ottertune.com/и, видимо, для души (и будущих клиентов и сотрудников), он ведёт курс по базам данных в университете CMUнесмотря на то, что курс офлайн в обычном ки…

Summary

This episode features an insightful conversation with Petr Janda, the CEO and founder of Synq. Petr shares his journey from being an engineer to founding Synq, emphasizing the importance of treating data systems with the same rigor as engineering systems. He discusses the challenges and solutions in data reliability, including the need for transparency and ownership in data systems. Synq's platform helps data teams manage incidents, understand data dependencies, and ensure data quality by providing insights and automation capabilities. Petr emphasizes the need for a holistic approach to data reliability, integrating data systems into broader business processes. He highlights the rol…

Summary

Data lakehouse architectures have been gaining significant adoption. To accelerate adoption in the enterprise Microsoft has created the Fabric platform, based on their OneLake architecture. In this episode Dipti Borkar shares her experiences working on the product team at Fabric and explains the various use cases for the Fabric service.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Data lakes are notoriously complex. For data engineers who battle to build and scale high quality data workflows on the data lake, Starburst is an end-to-end data lakehouse platform built on Trino, the query engine Apache Iceberg was designed for, w…

Summary

Stripe is a company that relies on data to power their products and business. To support that functionality they have invested in Trino and Iceberg for their analytical workloads. In this episode Kevin Liu shares some of the interesting features that they have built by combining those technologies, as well as the challenges that they face in supporting the myriad workloads that are thrown at this layer of their data platform.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Data lakes are notoriously complex. For data engineers who battle to build and scale high quality data workflows on the data lake, Starburst is an end-to-end …

Summary

Streaming data processing enables new categories of data products and analytics. Unfortunately, reasoning about stream processing engines is complex and lacks sufficient tooling. To address this shortcoming Datorios created an observability platform for Flink that brings visibility to the internals of this popular stream processing system. In this episode Ronen Korman and Stav Elkayam discuss how the increased understanding provided by purpose built observability improves the usefulness of Flink.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

This episode is supported by Code Comments, an original podcast from Red Hat. As someo…

Summary

Modern businesses aspire to be data driven, and technologists enjoy working through the challenge of building data systems to support that goal. Data governance is the binding force between these two parts of the organization. Nicola Askham found her way into data governance by accident, and stayed because of the benefit that she was able to provide by serving as a bridge between the technology and business. In this episode she shares the practical steps to implementing a data governance practice in your organization, and the pitfalls to avoid.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Data lakes are notoriously complex. F…

Summary

Any software system that survives long enough will require some form of migration or evolution. When that system is responsible for the data layer the process becomes more challenging. Sriram Panyam has been involved in several projects that required migration of large volumes of data in high traffic environments. In this episode he shares some of the valuable lessons that he learned about how to make those projects successful.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Data lakes are notoriously complex. For data engineers who battle to build and scale high quality data workflows on the data lake, Starburst is an end-to-en…

Summary

The purpose of business intelligence systems is to allow anyone in the business to access and decode data to help them make informed decisions. Unfortunately this often turns into an exercise in frustration for everyone involved due to complex workflows and hard-to-understand dashboards. The team at Zenlytic have leaned on the promise of large language models to build an AI agent that lets you converse with your data. In this episode they share their journey through the fast-moving landscape of generative AI and unpack the difference between an AI chatbot and an AI agent.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

This epis…

Summary

Building a data platform is a substrantial engineering endeavor. Once it is running, the next challenge is figuring out how to address release management for all of the different component parts. The services and systems need to be kept up to date, but so does the code that controls their behavior. In this episode your host Tobias Macey reflects on his current challenges in this area and some of the factors that contribute to the complexity of the problem.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

This episode is supported by Code Comments, an original podcast from Red Hat. As someone who listens to the Data Engineering Po…

Summary

Artificial intelligence has dominated the headlines for several months due to the successes of large language models. This has prompted numerous debates about the possibility of, and timeline for, artificial general intelligence (AGI). Peter Voss has dedicated decades of his life to the pursuit of truly intelligent software through the approach of cognitive AI. In this episode he explains his approach to building AI in a more human-like fashion and the emphasis on learning rather than statistical prediction.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Dagster offers a new approach to building and running data platforms and d…

Summary

Generative AI promises to accelerate the productivity of human collaborators. Currently the primary way of working with these tools is through a conversational prompt, which is often cumbersome and unwieldy. In order to simplify the integration of AI capabilities into developer workflows Tsavo Knott helped create Pieces, a powerful collection of tools that complements the tools that developers already use. In this episode he explains the data collection and preparation process, the collection of model types and sizes that work together to power the experience, and how to incorporate it into your workflow to act as a second brain.

Announcements

Hello and welcome to the Data Engineeri…

Summary

Generative AI has rapidly transformed everything in the technology sector. When Andrew Lee started work on Shortwave he was focused on making email more productive. When AI started gaining adoption he realized that he had even more potential for a transformative experience. In this episode he shares the technical challenges that he and his team have overcome in integrating AI into their product, as well as the benefits and features that it provides to their customers.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Dagster offers a new approach to building and running data platforms and data pipelines. It is an open-source, clou…

Summary

Databases come in a variety of formats for different use cases. The default association with the term "database" is relational engines, but non-relational engines are also used quite widely. In this episode Oren Eini, CEO and creator of RavenDB, explores the nuances of relational vs. non-relational engines, and the strategies for designing a non-relational database.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

This episode is brought to you by Datafold – a testing automation platform for data engineers that prevents data quality issues from entering every part of your data workflow, from migration to dbt deployment. Datafold …

Summary

Maintaining a single source of truth for your data is the biggest challenge in data engineering. Different roles and tasks in the business need their own ways to access and analyze the data in the organization. In order to enable this use case, while maintaining a single point of access, the semantic layer has evolved as a technological solution to the problem. In this episode Artyom Keydunov, creator of Cube, discusses the evolution and applications of the semantic layer as a component of your data platform, and how Cube provides speed and cost optimization for your data consumers.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data managemen…

Summary

Working with data is a complicated process, with numerous chances for something to go wrong. Identifying and accounting for those errors is a critical piece of building trust in the organization that your data is accurate and up to date. While there are numerous products available to provide that visibility, they all have different technologies and workflows that they focus on. To bring observability to dbt projects the team at Elementary embedded themselves into the workflow. In this episode Maayan Salom explores the approach that she has taken to bring observability, enhanced testing capabilities, and anomaly detection into every step of the dbt developer experience.

Announcements…

Summary

A core differentiator of Dagster in the ecosystem of data orchestration is their focus on software defined assets as a means of building declarative workflows. With their launch of Dagster+ as the redesigned commercial companion to the open source project they are investing in that capability with a suite of new features. In this episode Pete Hunt, CEO of Dagster labs, outlines these new capabilities, how they reduce the burden on data teams, and the increased collaboration that they enable across teams and business units.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Dagster offers a new approach to building and running data …

In this episode, Shashank Rajput, Research Scientist at Mosaic and Databricks, explores innovative approaches in large language models (LLMs), with a focus on Retrieval Augmented Generation (RAG) and its impact on improving efficiency and reducing operational costs.Highlights include:- How RAG enhances LLM accuracy by incorporating relevant external documents.- The evolution of attention mechanisms, including mixed attention strategies.- Practical applications of Mamba architectures and their...

In this episode, Jure Leskovec, Co-founder of Kumo AI and Professor of Comuter Science at Stanford University, discusses Relational Deep Learning (RDL) and its role in automating feature engineering. Highlights include:- How RDL enhances predictive modeling.- Applications in fraud detection and recommendation systems.- The use of graph neural networks to simplify complex data structures.

В конце ноября нашему подкасту исполняется ПЯТЬ лет. Мы очень благодарны, что вы все это время слушаете нас, и хотим отпраздновать пятилетие вместе! В четверг 28 ноября в 19:00 по Москве мы проведем праздничную трансляцию. Самат вместе с гостями будет обсуждать главные технологические события и открытия последних пяти лет: крипту, блокчейн, виртуальную реальность, искусственный интеллект, большие лингвистические модели. Мы расскажем про самые горячие темы из мира технологий, попробуем построить прогнозы на будущее и, конечно, дадим возможность вам задавать свои вопросы! Трансляция пройдет в телеграм-канале студии «Либо/Либо», которая выпускает этот подкаст. Подпишитесь, чтобы не пропустить:…

Это эпизод другого подкаста студии Либо/Либо — «На каком основании». В этом выпуске ведущая Полина Агаркова рассказывает историю о том, как Cambridge Analytica и Facebook поставили под угрозу весь демократический процесс в США и Великобритании. Другие эпизоды подкаста «На каком основании» можно послушать тут: https://podcast.ru/1735291623

Недавно мы закончили 11-й сезон подкаста, и нам очень интересно узнать, что вы думаете о нем и о подкасте в целом — что вам нравится, что не нравится и какие эпизоды вы бы хотели услышать в новом сезоне. Для этого мы подготовили небольшой опрос и очень просим вас его пройти. Это займет примерно 7 минут и поможет нам сделать «Запуск завтра» еще лучше. Ссылка на опрос: https://form.typeform.com/to/W2dUygOZ

Как технология для стабильной работы магазина книг стала основой половины интернета? Из-за чего мы начали покупать бесконечные подписки на приложения? Почему из-за сбоев на серверах одного интернет сервиса ложится все? В этом выпуске рассказываем про «облака»: как они возникли и поменяли наши привычки покупать вещи, смотреть кино, редактировать документы и играть в игры.Реклама. ООО «Яндекс» ИНН 7736207543Партнер этого эпизода — сервис Яндекс Образование. Участвуйте в Олимпиаде AIDAO для студентов бакалавриата и магистратуры. Регистрация открыта до 5 октября 2024 года. Все подробности и условия участия тут:https://cutt.ly/aeRKEQpv?erid=2SDnjdYhKWzЭпизод с разработчиком хромбуков: https://pc…

Кремниевая долина названа так в честь кремния в компьютерных процессорах. Полвека назад они были медленные и размером с квартиру, но с тех пор уменьшились в сотни и разогнались в миллиарды раз. Кажется, закон Мура перестаёт работать, а кремний как основа электроники уходит в прошлое. С чего все началось и что грядёт на смену? Это выпуск о компании Intel и ее заклятом друге AMD, о создании процессора и о безумной сложности производства компьютерных чипов.Реклама. ООО «Яндекс» ИНН 7736207543Партнер этого эпизода — Яндекс Образование. Учитесь и узнавайте новое вместе Журналом от Яндекс Образования: https://education.yandex.ru/journal?erid=2SDnjdbF76zВ этом эпизоде мы упоминаем другие выпуски н…

Как маргинальный хиппи подчинил себе мировой цифровой рынок? Почему из десятков стартапов, рожденных в гаражах Кремниевой Долины, выстрелил именно Apple? Как пережить изгнание из собственной компании, а потом триумфально вернуться в нее ещё более богатым, чем уходил? Наконец, как работало «поле искажения реальности», позволявшее создавать невозможное? В этом выпуске рассказываем историю IT-иконы и человека-мифа Стива Джобса и его корпорации Apple.Реклама. ООО «Яндекс» ИНН 7736207543Партнер этого эпизода — Яндекс. Приходите работать, а 12 сентября — отмечать День разработчика в осенний коворкинг Яндекса в Парке Горького: https://clck.ru/3Cjpx8erid=2SDnjbuMCprПоддержите студию «Либо/Либо» дон…

Гугл - главный поисковик нашего времени, с которым никто не может конкурировать. Однако, не так давно он был лишь одним из шести подобных стартапов, и в его успех никто не верил кроме двух 20-летних студентов которые совершенно случайно наткнулись на главный клад 21 века — поисковой трафик. О том, как сын советских евреев и его однокурсник по Стэнфорду изобрели способ найти что угодно за секунды, подмяли под себя интернет и столкнули с Олимпа непобедимого Билла Гейтса - третий эпизод нового сезона «Запуска завтра». Реклама. ООО «Яндекс» ИНН 7736207543Партнер этого эпизода — Яндекс. Приходите работать в осенний коворкинг Яндекса с 6 сентября по 4 октября: https://clck.ru/3Cjptb?erid=2SDnjdeA…

Билл Гейтс — одна из самых противоречивых фигур в истории IT. Как он победил самую влиятельную корпорацию своего времени и сам вырастил такого же IT-гиганта? Кому проиграл битву за Интернет? Наконец, правда ли его карьеру ускорила влиятельная мама? Второй эпизод нового сезона «Запуска завтра» — про технологического гиганта 90-х, компанию Microsoft, и ее создателя Билла Гейтса.***Реклама. ООО «Яндекс» ИНН 7736207543Партнер этого эпизода — Яндекс. Приходите на Practical ML Conf от Яндекса 14 сентября в Москве или онлайн: https://clck.ru/3CjqjB?erid=2SDnjcsfPcE ***Подробнее про курс «Как делать разговорные подкасты»:https://t.me/libolibocourses/18***В эпизоде мы упоминаем подкаст «Конкуренты» …

Чем разработка компьютера похожа на запуск ракеты на Луну? Легко ли быть сыном самого успешного человека на континенте? Как один мелкий пункт в договоре может выбить из гонки, которую ты сам же и начал?В первом эпизоде нового сезона «Запуска завтра» рассказываем о взлете и падении империи IBM, появлении персонального компьютера, зарождении Кремниевой Долины и о том, как стартаперы в майках с пятнами от пиццы становятся важнее топ-менеджеров в костюмах-тройках.***Реклама. АО «Точка» ОГРН: 1187746637143 ИНН 9705120864Партнер эпизода — финтех-компания Точка. Посмотреть, как устроена работа в Точке, можно тут: https://tchk.me/A1Ye0k?erid=2SDnjcys7Ja***Слушайте бонусы «Запуска завтра» по подписк…

В основе движения right to repair лежит крайне простая идея: только сами пользователи могут решать, как им распоряжаться своими приобретениями, будь то телефон, кухонный комбайн или газонокосилка. Но убедить в этом производителей пока не смог даже Конгресс США. Зачем компаниям ограничивать право на ремонт электроники? Какое оно — по-настоящему ремонтопригодное устройство? И, наконец, почему активистов движения так бесит компания Apple? Обсуждаем право на ремонт с Гэй Гордон-Бёрн, одной из основательниц Digital Right To Repair Coalition.Сайт коалиции: https://www.repair.org/***Реклама. АО «Точка» ОГРН: 1187746637143 ИНН 9705120864Партнер эпизода — финтех-компания Точка. Посмотреть, как устро…

Вы когда-нибудь открывали инструкцию к микроволновке? Кажется, ее никто не читает. При этом документация есть примерно у всех устройств, которыми мы пользуемся каждый день, и кто-то даже строит на ней бизнес. Зачем нужна документация? Кто ее создает? И что должен уметь писатель в IT? Самат Галимов говорит с Семеном Факторовичем — техническим директором documentat.io — компании по разработке документации.Курс Семена для разработчиков: https://documentat.io/courses/developers-developers-developers/Чат техписателей: https://t.me/technicalwritersТелеграм-канал Коли Волынкина: https://t.me/s/docops Семен рекомендует книгу The Product is Docs, автор Christopher Gales***Реклама. АО «Точка» ОГРН: 1…

Специалисты по безопасности говорят, что пароли устаревают. Что с ними не так? Какие вообще способы аутентификации существуют? И чем их заменить? Самат Галимов говорит с Каримом Валиевым, который руководил группой информационной безопасности Mail.Ru.Реклама. АО «Точка» ОГРН: 1187746637143 ИНН 9705120864Партнер эпизода — финтех-компания Точка. Посмотреть, как устроена работа в Точке, можно тут: https://tchk.me/IkUNnN?erid=2SDnjbpj8B4 Слушайте бонусы «Запуска завтра» по подписке «Либо/Либо+» в закрытом тг-канале https://cutt.ly/zap2507eptg1990 (подписка на год за 1990руб) или https://cutt.ly/zap2507eptg (399руб/месяц), а также в Apple Podcasts https://cutt.ly/zap2507epap 🎧 Слушайте подкаст «Г…

Кажется, что роботы способны на всё — от уборки квартиры до исследования поверхности Марса. При этом, возможно, вам приходилось ставить галочку рядом с фразой «Я не робот», чтобы зайти на сайт. Неужели робот бы не справился с такой задачей? Как устроен механизм, который различает роботов и людей в интернете? Кто пытается его обмануть и зачем? Самат Галимов говорит с Никитой Захматовым, который защищает от роботов инфраструктуру «Яндекса».Реклама. АНО ДПО «Образовательные технологии Яндекса» ИНН 7704282033 Курс «Java-разработчик»: https://ya.cc/t/lMZjkaqJ5Aycex?erid=2SDnjeFcxyY❗️Мы пробуем видео! Этот и два предыдущих эпизода вышли с видеоверсиями. В них — примерно то же самое, но с лицами и…

Иногда сесть за руль и доехать до пункта назначения занимает 15 минут, а найти место для парковки — в два раза больше. Бывший технический директор Авито Роман Павлушко создал стартап, который решает эту проблему в крупных российских городах. Самат расспросил Рому о деньгах, команде и перспективах.Реклама. АНО ДПО «Образовательные технологии Яндекса» ИНН 7704282033Бесплатный курс «Основы работы с Git»: https://ya.cc/t/X2V0hT_f5AyGGn?erid=2SDnjdmt3ea ❗️Мы пробуем видео! Этот, следующий и предыдущий эпизод выходят с видеоверсиями. В них — примерно то же самое, но с лицами и иллюстрациями. Ссылка на видеоверсию этого эпизода: https://youtu.be/DkGl-wTJN5s Подписывайтесь на YouTube-канал студии «…

Ведущие – Григорий Петров и Михаил Корнеев Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/

Спонсор подкаста: курсы по Python-разработке для тех, кто уже знаком с веб-разработкой — https://vk.cc/cADwoW Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска:

Python 3.13 — https://pythoninsider.blogspot.com/2024/10/python-3130-final-released.html Jacob Kaplan-Moss рассказал о финансах Django Software Foundation — https://jacobian.org/2024/oct/8/dsf-one-million/ PEP 735 — https://peps.python.org/pep-0735/ PEP 758 — https://peps.python.org/pep-0758/ PEP 761 — https://peps.python.org/pep-0761/ PEP 760 — https://peps.python.org/pep-0760/ Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Teleg…

Спонсор подкаста: курсы по Python-разработке для тех, кто уже знаком с веб-разработкой — https://vk.cc/cADwoW Ведущие – Никита Соболев и Михаил Корнеев

Новости выпуска: Релиз 3.13 перенесли на 7-е октября — https://discuss.python.org/t/incremental-gc-and-pushing-back-the-3-13-0-release/65285 Время перестать использовать 3.8 — https://pythonspeed.com/articles/stop-using-python-3.8/ Когда пора апргрейдиться до 3.13 — https://pythonspeed.com/articles/upgrade-python-3.13/ Python Developers Survey 2023 — https://lp.jetbrains.com/python-developers-survey-2023/ Большая дискуссия про uv в хвиторе — https://simonwillison.net/2024/Sep/8/uv-under-discussion-on-mastodon/ Каналы Никиты Соболева: https:/…

Спонсор подкаста: курсы по Python-разработке для тех, кто уже знаком с веб-разработкой — https://vk.cc/cADwoW Ведущие – Григорий Петров и Михаил Корнеев

Новости выпуска:

Вышла Django 5.1

Большой релиз uv PyPI снизили время реагировании на mailware до 24 часов

IEEE опубликовали очередной рейтинг популярности языков, python на первом месте Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru

Спонсор подкаста — https://learn.python.ru/advanced

Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: Утечка токена для полного доступа к GitHub-репозиториям проекта Python

Запущен сайт про nogil-питон

Python grapples with Apple App Store rejections

Вышел Polars 1.0 PEP 751 общий формал для lock-файлов зависимостей Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru

Спонсор подкаста — https://learn.python.ru/advanced

Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: Должен ли Python использовать календарную нумерацию версий Релиз NumPy 2.0

Как устроена инфраструктура работы с уязвимостями в Python

Современные практики для разработки на Python Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru

В этом выпуске встретились с Сергеем Яхницким и обсудили: Python в Яндекс.Такси

как в Яндексе организована разработка Python кода

как организован CI/CD

какие линтеры используют

борются ли как-то с использованием типов

используют ли в Яндексе ruff

про PiterPy

про поиск спикеров

что нравится Сергею в конференциях

Спонсор подкаста: продвинутые курсы для разработчиков — https://vk.cc/cxi9FL

Ведущие – Григорий Петров и Михаил Корнеев https://github.com/sobolevn/ship-it-b... - настолка от Никиты / @sobolevn — видео от Никиты

Спонсор подкаста — https://learn.python.ru

CFP PiterPy — https://piterpy.com/callforpapers/

Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: Вышла бета python 3.13

Django Developers Survey 2023

Django Enhancement Proposal: Background Workers

Fake job interviews target developers with new Python backdoor

Как выбирают доклады на EuroPython Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru

Спонсор подкаста — https://learn.python.ru

Python Day на Positive Hack Days — https://bit.ly/phd-mpp Ведущий – Григорий Петров Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru

Спонсор подкаста — https://learn.python.ru

Python Day на Positive Hack Days — https://bit.ly/phd-mpp Ведущие – Григорий Петров и Валентин Домбровский Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru

Спонсор подкаста — https://learn.python.ru

Python Day на Positive Hack Days — https://bit.ly/phd-mpp Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: Pydantic запустили бета-версию Longfire

Łukasz научил GitHub собрать CPyhon из исходников

PyPI is expanding Trusted Publisher Support Релиз ruff 0.4.0 New Open Initiative for Cybersecurity Standards Ubuntu 24.04 LTS

PEP-744 Jit Compilation

Студенческие задания в Open source Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru

Спонсор подкаста — https://learn.python.ru

Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: релиз ruff 0.3.0

style czar или попытка привести языки к одному стилю

Gemini Pro объявила кеширование «риском безопасности»

Cloudflare запустили поддержку python в cloud-workers-ах

как за год изменилось состояние Web Assembly в Python

в pypi завезли возможность репортить malware-пакеты закончилось большое обсуждение lock-файлов от Brett Canon вышел DRF 3.15 почти через 2 года после пердыдущей версии Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https:/…

Спонсор подкаста — https://learn.python.ru

Ведущие – Григорий Петров и Михаил Корнеев Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы MoscowPython — https://moscowpython.ru

А что, если взять SQL, добавить к нему всякие расширения, чтобы было проще писать бизнес-логику, и максимально тесно интегрировать с конкретной базой данных? Получится PL/SQL! Обсуждаем в выпуске сам язык, а также экосистему Oracle, в которую он тесно внедрен. А в гостях у нас Иван Дубашинский. Партнер эпизода — экосистема Контур. Это сервисы для бизнеса, на которых работает каждая третья компания России. 2000+ разработчиков развивают продукты и инфраструктурные решения на C# под .NET, Python, Java, Go. В разных проектах всегда находятся вызовы, поэтому сотрудники могут строить свой карьерный трек и перемещаться между командами, чтобы наращивать опыт и контекст. Узнать больше о технологиях …

Друзья, встречайте наш юбилейный 400-й выпуск! 🎉 Мы посвятили этот особенный эпизод темам, которые волнуют каждого слушателя и слушательницу: разбираем проблемы и страхи IT-индустрии и обсуждаем, как с ними бороться. Поговорим о том, есть ли недостаток фундаментальных знаний и грозит ли нам полная монополизация технологий. Порассуждаем о том, как бороться с тем, что желание краткосрочной выгоды в индустрии все чаще преобладает над смыслом работы. Обсудим страхи увольнения, экономического спада, замену человека искусственным интеллектом, а также проблему выгорания. Мы не смогли выбрать одного гостя для такой масштабной темы, поэтому собрали комментарии сразу шести!!! ваших любимых экспертов:…

А вот и финальная часть нашего гайда по качалке! В этот раз обсудили, нужна ли специальная диета для силовых тренировок и какие ключевые рекомендации по питанию стоит учесть. Разобрали, как и зачем считать калории, сколько белка нужно есть, откуда его брать и какие есть лайфхаки. Поговорили о том, стоит ли отказываться от каких-то продуктов, действительно ли быстрые углеводы — зло, и как вписать пиво в вашу диету. Бонусом разобрали тему травм и проблем со здоровьем: какие заболевания являются противопоказаниями, а при каких силовые тренировки могут помочь. Как и в предыдущих 2-х частях вас ждут концентрированные знания от Станислава Цаллагова, приправленные шутейками, а также личными истори…

Наконец-то выпуск про релокацию не на какой-то там очередной остров, а в Соединенные Штаты Америки! Тема обширная, так что обсудили не все, но подняли много непростых тем – визы и легализацию, безопасность и владение оружием, медицину и страховки. А в гостях у нас уже дважды релокант в США – Артем Зиннатуллин! 18 ноября стартует новый сезон Podlodka Java Crew. Тема сезона – "Асинхронная архитектура"! По промокоду JAVA_STREAM скидка на билеты. Полная программа и подробности – на сайте https://podlodka.io/javacrew Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.face…

В этот выпуск гостем пришел Матвей Кукуй, сооснователь KeepHQ.dev, а в прошлом — Engineering Director в Grafana Labs. Говорим о том, что такое AIOps и как искусственный интеллект трансформирует мониторинг и алертинг, помогая обрабатывать и интерпретировать данные из Observability-инструментов. Обсуждаем, как AIOps модели обучаются, тестируются и автоматизируют инциденты, а также какие сложности возникают при создании AI-продуктов для корпораций. По ходу выпуска также поговорили про роль open-source, выбор модели монетизации и то, что ждёт AIOps в ближайшие годы. 11 ноября стартует новый сезон Podlodka iOS Crew. Тема сезона – "Многопоточность"! По промокоду IOS_CONCURRENCY скидка на билеты. …

В этом выпуске c Артуром Голубцовым из Cognitive Pilot погружались в мир робототехники и говорили про особенности разработки автопилотов и автономных систем: от выбора ниши и MVP до тестирования в реальной среде и запуска в производство. Обсудили как автономные технологии уже изменили многие сферы и почему роботов “на улицах” до сих пор не так много. Партнёр эпизода — Genotek, лидер в области персональной и медицинской генетики. ДНК-тест «Генетический паспорт» анализирует ваше происхождение, предрасположенность к заболеваниям и предлагает рекомендации по их профилактике, исходя из ваших генетических особенностей. В стоимость включена консультация врача, который поможет разобраться в результ…

Понятный и удобный API – залог успеха хорошей библиотеки. Но, чтобы его спроектировать, нужно решить огромное количество проблем, связанных с выбором правильного уровня абстракции, историческим наследием, необходимостью поддерживать обратную совместимость, неоднозначностью естественного языка и, самое главное, человеческой природой. Сева Толстопятов, главный за core-библиотеки Kotlin, рассказал нам о том, как принимать решения в дизайне API, учитывая все возможные их последствия. Партнер эпизода — экосистема Контур. Это сервисы для бизнеса, на которых работает каждая третья компания России. 2000+ разработчиков развивают продукты и инфраструктурные решения на C# под .NET, Python, Java, Go. В…

В этом выпуске заглядываем одним глазком туда, где цена ошибки максимально высока. В медицину! Что уже может делать ИИ, в чем он лучше или хуже врачей – разберемся с Евгением Никитиным, CTO компании Цельс. Партнёр эпизода — образовательная платформа Грейд от Яндекс Практикума.

Грейд помогает руководителям и тимлидам точечно обучать сотрудников или целые команды навыкам для конкретных бизнес-задач: подготовить команду к новому проекту, вырастить стажеров или переобучить сотрудника для новой роли. На платформе Грейда более 1000 навыков, а также возможность конструировать обучение под запрос, наблюдать за прогрессом и измерять эффективность — там, где раньше нужно было несколько разных решений…

В этом выпуске мы обсуждаем социальную инженерию — угрозу, которая касается каждого, будь то человек или компания. Мы разберем основные методы атак, и какие психологические техники используют мошенники. Вы узнаете, насколько опасно переходить по ссылкам, открывать видео и скачивать файлы. Эксперт Антон Бочкарев – эксперт по информационной безопасности и сооснователь площадки «Третья Сторона», поделится советами, как защитить себя, помочь близким и бороться с этой угрозой на уровне компании. Партнёр эпизода — образовательная платформа Грейд от Яндекс Практикума.

Грейд помогает руководителям и тимлидам точечно обучать сотрудников или целые команды навыкам для конкретных бизнес-задач: подготов…

Lua – уникальный язык программирования, так и не ставший массовым, но при этом занявший кучу разных ниш. Его используют, чтобы писать моды для Factorio, Minecraft и Roblox, высоконагруженную логику для nginx, скрипты для redis, плагины для neovim и wireshark, и даже софт для микроконтроллеров. Все это стало возможным благодаря некоторым дизайновым решениям, которые сделали Lua самым удобным языком для встраивания в другие системы. Антон Солдатов, долгое время разрабатывавший код на Lua в IPONWEB, а также участвовавший в разработке внутреннего форка LuaJIT, рассказал нам все, что нужно знать про этот язык. Партнёр эпизода — образовательная платформа Грейд от Яндекс Практикума.

Грейд помогает…

Почему одни языки легко взаимодействуют между собой – как, например C и C++, или Java и Kotlin, а другие создают неимоверную боль при попытке вызвать функции одного языка из другого? Все дело в интеропе! Что это такое, и почему он сложнее, чем кажется – разбираемся с Николаем Иготти! Партнёр эпизода — образовательная платформа Грейд от Яндекс Практикума.

Грейд помогает руководителям и тимлидам точечно обучать сотрудников или целые команды навыкам для конкретных бизнес-задач: подготовить команду к новому проекту, вырастить стажеров или переобучить сотрудника для новой роли. На платформе Грейда более 1000 навыков, а также возможность конструировать обучение под запрос, наблюдать за прогрессом…

В выпусках мы уже обсуждали Java, Kotlin, Scala и даже Clojure, но теперь пришло время разобраться с основой популярности этих языков — Java Virtual Machine. Кто сможет лучше всего рассказать о внутреннем устройстве JVM? Конечно, тот, кто сам создавал одну из её реализаций! В этом выпуске вместе с Никитой Липским, инициатором проекта Excelsior JET — JVM с AOT компилятором, мы углубляемся в анатомию JVM, разбираемся с её спецификацией и различными реализациями, обсуждаем особенности оптимизаций, текущие проблемы и тренды в экосистеме JVM. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Стр…

В этом выпуске мы поговорили о входе в IT, обучении и устройстве на позицию junior-разработчика с сооснователем Hexlet Кириллом Мокевниным. Обсудили, как собрать портфолио и где получить практический опыт до первой работы. Изначально Кирилл не планировал затрагивать тему софт-скиллов, но в итоге не удержался — вышло интересно и содержательно. Выпуск – набор конкретных советов и рекомендаций для тех, кто начинает карьеру в IT. Партнёр эпизода – облачная платформы Yandex Cloud. 25 сентября команда проводит Yandex Scale – большую конференцию для тех, кто создаёт цифровые решения. Участников ждет насыщенная программа с технологическими анонсами и практическими кейсами применения облачных технол…

Сколько факторов аутентификации нужно использовать, чтобы учетные записи ваших пользователей были в безопасности? Зачем сбрасывать пароль каждые 30 дней? Есть ли методы аутентификации, которые, с одной стороны, достаточно безопасные, а с другой – удобные даже для вашей бабушки? Никита Хромушкин из Авито провел для нас максимально подробную лекцию про то, насколько проклято текущее состояние дел в аутентификации и какое светлое будущее нас ждет, когда человечество откажется от паролей! Партнёр эпизода – облачная платформа Yandex Cloud, которая проводит большую конференцию Yandex Scale для тех, кто создаёт цифровые решения. Генеративные нейросети, речевые технологии, сервисы для работы с данн…

С – язык, на котором написана значимая часть всего, что нас окружает: от ядра операционной системы до мозгов автомобиля, из колонок которого вы будете слушать этот подкаст. В выпуске вместе с Игорем Жирковым разбираемся с тем, насколько современный C похож на язык, с которым вы познакомились в той самой книге Кернигана и Ритчи, какие особенности делают его одним из самых нетерпимых языков к ошибкам программиста, и стоит ли вообще на нем писать код в 2024 году. Партнер эпизода — TeamLead T-Sync, мероприятие, на котором вы сможете заглянуть в самое сердце культуры тимлидов Т-Банка. Вы сможете послушать доклады, поучаствовать в открытой дискуссии и спиддейтинге с мидл-менеджментом, а также поо…

Надежда Бей — VR-художница и резидент фиджитал галереи Охра.Канал Нади: https://t.me/irrealartКанал Охры: https://t.me/phygitalgalleryПолезные книги:Ната Покровская и Антон Уткин: Белое зеркало. Учебник по интерактивному сторителлингу в кино, VR и иммерсивном театре.Cyane Tornatzky, Brendan Kelley "An Artistic Approach to Virtual Reality"Curtis Hickman "Hyper-reality: The art of designing impossible experiences"Кристиана Пол "Цифровое искусство"Support the showApplePodcasts: https://apple.co/...

Никита Калинин — Associate Professor в Технионе в Гуанджоу и автор канала Tropical Saint-Petersburg. Мы поговорили с ним про Петебругскую математику и математиков.Support the showApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

Елена Доброхотова — сооснователь стартапа Not Yet. Мы поговорили с ней о рынке медицинских носимых устройств, о здоровье и старении.Support the showApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

Игорь Кузьмичёв исследует "вторую культуру" Ленинграда и ведёт телеграм-канал "Здесь был Майк" Telegram: t.me/mikewashereSupport the showApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

Геннадий Асиньяров — кандидат биологических наук, участник проекта БИОС-3 в рамках которого исследовались возможности замкнутых систем жизнеобеспечения. Такие системы гипотетически могли бы использоваться для колонизации Марса.Геннадий Захарович также один из создателей методики НООГЕН. Книга: https://shorturl.at/vC2vwSupport the showApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

Сергей Нурк руководит командой разработки биоинформатических инструментов в Oxford Nanopore technologies.Support the showApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

Александр Гечис разрабатывает алгоритмы для немецкого стартапа Kopernikus Automotive. Благодаря работе Александра автомобили сами могут перемещаться по фабрике от цеха к цеху в процессе производства.Support the showApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

Артём Родичев — основатель и CEO стартапа ex-Human. ex-Human создаёт искусственный интеллект, способный поддерживать беседу на любую, даже очень личную, тему.Ex-human AI: https://exh.ai/Support the Show.ApplePodcasts: https://apple.co/2Psx8yd GooglePodcasts: https://shorturl.at/finK1 Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

Наталия Шагарина — серийная предпринимательница. Её новый стартап Аврора - виртуальный помощник для семей. Аврора помогает координировать расписание и справляться с рутиной, осовобождая силы и время, - чтобы все могли заниматься самым важным.Support the Show.ApplePodcasts: https://apple.co/2Psx8yd GooglePodcasts: https://shorturl.at/finK1 Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

19 февраля (по старому стилю) или 3 марта (по новому) 1861 года в Российской Империи указом императора Александра Второго отменили крепостное право.Это вторая серия двухсерийного разговора. Сегодня мы говорим с историком Иваном Куриллой, специалистом по русско-американским отношениям о схожем и различном между рабством в США и крепостничеством в России.Support the Show.ApplePodcasts: https://apple.co/2Psx8yd GooglePodcasts: https://shorturl.at/finK1 Я.Музыка: https://clck.ru/JJB8yПатрео...

19 февраля (по старому стилю) или 3 марта (по новому) 1861 года в Российской Империи указом императора Александра Второго отменили крепостное право.Это первая серия двухсерийного разговора. Сегодня мы говорим с историком Владимиром Коршаковым, автором канала Русские Летописи про то, как древнерусский человек понимал понятия "воля" и "свобода".Ютуб Владимира: @letopisirus Телеграм: https://t.me/letopisi_rusТвиттер: https://twitter.com/letopisi_rusSupport the Show.ApplePodcasts: htt...

Беседуем с Сереем Суховым, создателем самого крупного Telegram-канала о стоицизме и тренажера по стоицизму.Support the showApplePodcasts: https://apple.co/2Psx8yd GooglePodcasts: https://shorturl.at/finK1 Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

Перед разговором с Сергеем Суховым о философии стоиков я решил записать короткий эпизод про принципы философии стоицизма.Support the showApplePodcasts: https://apple.co/2Psx8yd GooglePodcasts: https://shorturl.at/finK1 Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

Topics include Talk Python rewritten in Quart, PyPI now supports digital attestations, Django Rusty Templates, and PEP 639 is now supported by PYPI.

Topics include Thoughts on Django’s Core, futurepool, Don't return named tuples in new APIs, and Ziglang: Migrating from AWS to Self-Hosting.

Topics include terminal-tree, posting: The API client that lives in your terminal, , and UV does everything or enough that I'm not sure what else it needs to do.

Topics include GitHub action security: zizmor, Python is now the top language on GitHub, Python 3.13, what didn't make the headlines, and PyCon US 2025.

Topics include Python 3.14.0 alpha 1 is now available, uv supports dependency groups, dive: A tool for exploring each layer in a docker image, and pytest-metadata.

Topics include Open Source Pledge, DjangoTV, PEP 735 – Dependency Groups in pyproject.toml, and livereload.

Topics include Briefer: Dashboards and notebooks in a single place, Introduction to programming with Python, setup-uv, and HTML for people.

Topics include Python 3.13.0 released Oct 7, PEP 759 – External Wheel Hosting, pytest-freethreaded, and pytest-edit.

Topics include uv under discussion on Mastodon, erdantic: Entity Relationship Diagrams, , and.

Topics include , narwhals, Microsoft wants Three Mile Island to fuel its AI power needs, and zsh-in-docker.

Topics include We must replace uwsgi by something else, Let’s build and optimize a Rust extension for Python, Fake recruiter coding tests target devs with malicious Python packages, and Monthly PSF Board Office Hours.

Topics include , Docker images using uv's python, 10 years of sustainable open source, and humanize.

Topics include Why I Still Use Python Virtual Environments in Docker, Python Developer Survey Results, Anaconda Code add-in for Microsoft Excel, and Disabling Scheduled Dependency Updates.

Topics include , uv 0.3.0 and all the excitement, Top pytest Plugins, and A comparison of hosts / providers for Python serverless functions Faas)

Next.js is an open source JavaScript framework developed by Vercel. It’s built on top of React and is designed to streamline web application development using server-side rendering and static site generation. The framework’s handling of both frontend and backend tasks, along with features like API routes and file-based routing, have made it an increasingly popular

The post Next.js 15 with Jimmy Lai and Tim Neutkens appeared first on Software Engineering Daily.

CodeSandbox was founded in 2017 and provides cloud based development environments along with other features. It’s quickly become one of the most prominent cloud development platforms. Ives van Hoorne is a Co-Founder at CodeSandbox. He joins the show to talk about the platform. Josh Goldberg is an independent full time open source developer in the

The post CodeSandbox with Ives van Hoorne appeared first on Software Engineering Daily.

Data analytics and business intelligence involve collecting, processing, and interpreting data to guide decision-making. A common challenge in data-focused organizations is how to make data accessible to the wider organization, without the need for large data teams. Metabase is an open source business intelligence tool that focuses on data exploration, visualization, and analysis. It offers

The post Open Source Data Analytics with Sameer Al-Sakran appeared first on Software Engineering Daily.

Gil Tayar is a Principal Software Engineer at Microsoft, developer advocate, and conference speaker. Gil’s contributions to the Node.js ecosystem include adding support for ECMAScript Modules in Node.js to Mocha and TestDouble. He joins the show to talk about his history in software engineering, monorepos vs polyrepos, the state of JavaScript, and more. Josh Goldberg

The post Node.js and the Javascript Ecosystem with Gil Tayar appeared first on Software Engineering Daily.

Runway is an applied AI research company building multi-modal AI systems, model deployment infrastructure, and products that leverage AI for multimedia content. They are among a handful of high-profile video generation startups and have raised impressive amounts of funding from investors such as Google, NVIDIA, and Salesforce Ventures. The company recently released their Gen-3 Alpha

The post Runway AI with Joel Kwartler appeared first on Software Engineering Daily.

Palantir Technologies is a data analytics and software company specializing in building platforms for integrating, analyzing, and visualizing large datasets. The company’s tools are designed to help analysts and decision-makers collaborate on data-driven solutions to complex problems, and they have worked extensively across the intelligence, defense, and commercial sectors. Akshay Krishnaswamy is the Chief Architect

The post Palantir with Akshay Krishnaswamy and Christopher Jeganathan appeared first on Software Engineering Daily.

Rust is a systems programming language created by Graydon Hoare in 2006 and first released by Mozilla in 2010. It is designed for performance, safety, and concurrency, with a focus on memory safety without a garbage collector. Rust’s ownership model ensures safe memory management, making it viable for tasks that require control over system resources,

The post Creating a Rust IDE with Vitaly Bragilevsky appeared first on Software Engineering Daily.

CRV is a venture capital firm that invests in early-stage startups. The firm has invested in more than 600 startups including Airtable, DoorDash and Vercel. James Green is a general partner at CRV where he is known for investing in startups focused on security, infrastructure and financial services. He joins the show to talk about

The post VC Investing at CRV with James Green appeared first on Software Engineering Daily.

DataStax is known for its expertise in scalable data solutions, particularly for Apache Cassandra, a leading NoSQL database. Recently, the company has focused on enhancing platform support for AI-driven applications, including vector search capabilities. Jonathan Ellis is the Co-founder of DataStax. He maintains a technical role at the company and has recently worked on developing

The post DataStax and the Future of Real-Time Data Applications with Jonathan Ellis appeared first on Software Engineering Daily.

FAPI is a refinement of the OAuth standard developed by the OpenID Foundation. It was conceived to solve a core problem of providing a consistent approach to API security across the financial industry, with the goal of enhancing interoperability of financial data exchange. It has now been adopted across many different industries in applications where

The post Enhancing OAuth Security and Interoperability Using FAPI with Joseph Heenan appeared first on Software Engineering Daily.

PCSX2 is an open-source PlayStation 2 emulator that allows users to play PS2 games on modern hardware. The emulator is remarkable for simulating the complex architecture of the PS2, which includes the Emotion Engine CPU, Graphics Synthesizer, and specialized subsystems. The emulator just hit a major milestone with the release of PCSX2 version 2.0. The

The post PlayStation 2 Emulation with TellowKrinkle appeared first on Software Engineering Daily.

Taiwan Semiconductor Manufacturing Company, or TSMC, produces a significant portion of the global supply of advanced semiconductors. Its cutting-edge technology powers everything from smartphones to high-performance computing, and its customers include Apple, NVIDIA, and ARM. TSMC’s dominance in chip production has made Taiwan a critical player in the global tech supply chain, drawing attention from

The post TSMC and the Geopolitics of the Chip Industry with Tim Culpan appeared first on Software Engineering Daily.

Factorio is a construction and management simulation game focused on resource-gathering with real-time strategy and survival elements. The player survives by locating and harvesting resources to craft various tools and machines, which in turn create more advanced materials that allow for the progression to more sophisticated technologies. The game was released in 2020 and has

The post Factorio with Michal Kovařík appeared first on Software Engineering Daily.

Slack is a team communication platform that originated as an internal tool within Tiny Speck, a game development company. When the company realized that their game would not achieve commercial success, they changed direction and repurposed the communication tool into a new product which eventually became Slack. Slack was launched in 2013 and is now

The post Frontend Engineering at Slack with Shruti Kapoor appeared first on Software Engineering Daily.

Boston Dynamics is a robotics company known for creating advanced robots with highly dynamic movement and agility, designed to navigate complex environments. Their robots, such as the quadruped Spot and the humanoid Atlas, have applications in industries ranging from logistics to public safety. They also garner widespread attention with their impressive videos showcasing robots performing

The post Boston Dynamics with Matt Malchano appeared first on Software Engineering Daily.

Data products are the building blocks of a data mesh, they serve analytical data, and must exhibit the eight characteristics outlined by Zhamak in her book Data Mesh: Delivering Data-Driven Value at Scale.

Data products package structured, semi-structured or unstructured analytical data for effective consumption and data driven decision making, keeping in mind specific user groups and their consumption pattern for these analytical data.

While a data product can have a dashboard as one of its outputs or dashboards can be created by consuming one or more data products, a dashboard on its own do not qualify as a data product.

While we can reuse most of the existing data products, we’ll need to…

Before we begin designing data products, let’s first establish a shared understanding of what they are and what they aren’t.

Data products are the building blocks of a data mesh, they serve analytical data, and must exhibit the eight characteristics outlined by Zhamak in her book Data Mesh: Delivering Data-Driven Value at Scale.

Similarly, a data product is the smallest valuable unit of analytical data, sourced from data streams, operational systems, or other external sources and also other data products, packaged specifically in a way to deliver meaningful business value.

Data products package structured, semi-structured or unstructured analytical data for effective consumption and data dr…

So I asked the AI tools to not mock the input object, and instead set up reasonable test data for it.

It’s one of many products in the market that focus on using AI to understand and ask questions about large codebases.

There is a mindset shift we have to make when using Generative AI tools in general.

LLM-based AI coding assistants perform best when they divide-and-conquer problems, and TDD is how we do that for software development.

TDD is especially needed when using AI coding assistants.

How I use Social Media Different people use social media in different ways, and my thoughts are governed by how I use them.

I'm not really a social user of social media.

I first started using social media (in some form) in the late 1980's with Usenet.

To find my social media pages, use the icons in the site banner, or look at the list on my about page.

RSS This isn't really a social media, as there isn't a mechanism for discussion, but since I'm mostly into social media to find out about interesting publications, RSS fits into my discussion.

This article explores the Strangler Fig pattern and how it can be applied to mobile applications.

Strangler Fig During a vacation in the rain forests of Queensland in 2001, we saw some strangler figs.

Diving Deeper… So far we’ve presented a very broad set of diagrams to illustrate our Mobile Strangler Fig concept.

We set ourselves the task of integrating this experience as an initial demonstration of the Strangler Fig pattern in action.

Limitations and Identified Drawbacks So far we’ve mostly highlighted the benefits of a Strangler Fig approach to legacy mobile App displacement.

This article explores the Strangler Fig pattern and how it can be applied to mobile applications.

Strangler Fig During a vacation in the rain forests of Queensland in 2001, we saw some strangler figs.

We addressed the organization’s big bang risk aversion by suggesting the Strangler Fig pattern to incrementally replace individual domains.

Diving Deeper… So far we’ve presented a very broad set of diagrams to illustrate our Mobile Strangler Fig concept.

We set ourselves the task of integrating this experience as an initial demonstration of the Strangler Fig pattern in action.

A case study of gradually modernizing an established mobile applicationIncremental replacement of a legacy mobile application is a challenging concept to articulate and execute.

This article explores the Strangler Fig pattern and how it can be applied to mobile applications.

Linking Modular Architecture to Development Teams Can a modular architecture improve software delivery?

We addressed the organization’s big bang risk aversion by suggesting the Strangler Fig pattern to incrementally replace individual domains.

The key to implementation of the Strangler Fig pattern involved embedding an entire React Native application inside the existing legacy application.

I was interviewed on the Book Overflow podcast about the Refactoring book. We talked about the origins of the book, the relationship between refactoring, testing, and extreme programming, how refactoring is used in the wild, and the role of books and long-form prose today.

more…

Through modernizing numerous legacy systems for our clients, we have found that an evolutionary approach makes legacy displacement both safer and more effective at achieving its value goals.

For our part, we have been experimenting over the last 18 months with LLMs to tackle the challenges associated with the modernization of legacy systems.

Our goal is for this accelerator to become our sensible default in legacy modernization, enhancing our modernization value stream and enabling us to realize the benefits for our clients more efficiently.

These are some of the most significant legacy systems we encounter, both in terms of size and complexity.

In the era of GenAI, specifically in the mode…

Through modernizing numerous legacy systems for our clients, we have found that an evolutionary approach makes legacy displacement both safer and more effective at achieving its value goals.

For our part, we have been experimenting over the last 18 months with LLMs to tackle the challenges associated with the modernization of legacy systems.

Our goal is for this accelerator to become our sensible default in legacy modernization, enhancing our modernization value stream and enabling us to realize the benefits for our clients more efficiently.

These are some of the most significant legacy systems we encounter, both in terms of size and complexity.

In the era of GenAI, specifically in the mode…

Our goal is for this accelerator to become our sensible default in legacy modernization, enhancing our modernization value stream and enabling us to realize the benefits for our clients more efficiently.

We intend to use this article to share our experience applying GenAI for Modernization.

We do not suggest that CodeConcise or its approach is the only way to apply GenAI successfully for modernization.

While some approaches at this stage are common across legacy tech stacks, we have also engineered prompts in our comprehension pipeline tailored to specific languages or frameworks.

This DBMS features vector search capabilities, enabling us to integrate the Knowledge Graph into the frontend a…

It’s a common practice to have an organization wide data catalog to index these data products, they typically contain rich metadata about all published data products.

Your job is to look at the meta data about a data product provided and evaluate if certain architectural properties of the data product holds true or not.

Your job is to look at the meta data about a data product provided and evaluate if certain architectural properties of the data product holds true or not.

} }) Product_Id data product: We expect this data product to fail the test for valuable_on_its_own.

However, this does not absolve the data product teams from considering the specific requirements of their domain when buil…

Cycle Time is a measure of how long it takes to get a new feature in a software system from idea to running in production.

Although the rough notion of cycle time, and the importance of reducing it, is common, there is a lot of variations on how cycle time is measured.

“first-commit cycle time” vs “idea cycle time”) to tell them apart.

Understanding this flow of work allows us to find ways to reduce the cycle time.

Further Reading The best grounding on understanding cycle time and how to reduce it is The Principles of Product Development Flow

Martin Fowler: 22 Aug 2024Two decades ago, I posted that I found that the strangler fig plant was an interesting metaphor for the gradual replacement of a legacy system.

I didn’t refer to the metaphor since, but meanwhile it grew a life of its own.

Other people increasingly referred to the strangler fig approach to modernization, and traffic to that post steadily increased: currently it gets about 5000 page views a month, one of the more popular pages on this site.

So I decided I needed to update that page, and have rewritten it, focusing on the core activities we need to do to make a success of such a venture.

(This summarizes more detailed writing from Ian Cartwright, Rob Horn, and Jame…

As well as the speed of the feedback loop for the AI input, I also reflect on the reliability of that feedback loop.

They will give additional input and review for the AI input, and increase my confidence.

The lower the margin for error, the more critical I will be of the AI input.

There is a mindset shift we have to make when using Generative AI tools in general.

When you adjust these expectations, and give yourself some time to understand the behaviours and quirks of the eager donkey, you’ll get more out of AI coding assistants.

Осваиваем многозадачное программирование на практике.

Тут прям детективная история приключилась.

В Go есть таймер (тип Timer ), а в нем — поле с каналом ( Timer.C ), в который таймер тикает спустя указанное время.

В коде стдлибы таймер создается так:Такая реализация привела к проблемам с time.After и Reset , от которых многие страдали.

И вот в Go 1.23 решили это исправить, для чего сделали канал в таймере небуферизованным:Вот только если вы посмотрите на фактический код, то канал-то остался буферизованным 😁Из комментариев к коммиту выясняется, что канал действительно остался буферизованным, но притворяется, что никакого буфера у него нет:Specifically, the timer channel has a 1-element buffer like it always has, but len(t.C) and cap(t.C) are sp…

Меняем емкость при нарезке.

Чем отличаются и как с ними работать.

Сколько можно запустить горутин и от чего это зависит.

Несколько приемов форматирования, о которых вы, возможно, не слышали.

➊ Закавыченная строкаИспользуйте %q , чтобы вывести строковое значение в кавычках.

➋ Названия полей структурыИспользуйте %+v , чтобы вывести названия полей структуры, а не только значения.

➌ Тип значенияИспользуйте %T , чтобы вывести тип значения.

В Go 1.23 (август 2024) появится цикл range по функциям.

Сделали ему конструктор и метод Set :Хорошо, а как теперь итерироваться по карте?

Стоило ли оно тогоСтоило ли добавлять в язык range-over-func?

С появлением дженериков в 1.18 по простоте языка был нанесен серьезный удар (вероятно, оправданный).

Ждут нас и корутины, и стримы, и паттерн-матчинг.

Урок по дженерикам в Go.

Раз уж мы заговорили о пустых значениях — вы же в курсе, что метод можно вызвать даже на пустом указателе?

type english struct { name string } // e может быть nil!

func ( e * english ) greet () { if e == nil { fmt .

Println ( "I'm nil" ) return } fmt .

Println ( "Hello" , e . name ) }

Интерфейсы и nil в GoВнутри Go переменная типа interface представлена как пара (type, value) , где value — конкретное значение, а type — тип этого значения (на самом деле все чуть сложнее, но совсем уж в дебри не будем погружаться).

Пока интерфейсной переменной не присвоено значение, у нее и type , и value равны nil , поэтому сама переменная считается равной nil :var ivar any // type == nil, value == nil // поэтому ivar == nil fmt .

Println ( ivar == nil ) // trueНо как только интерфейсной переменной присвоили значение, type перестает быть nil .

Println ( e == nil ) // true ivar = e // type == *english, value == nil // поскольку type != nil, то ivar != nil fmt .

Println ( ivar == nil ) // f…

Я начинаю серию коротких заметок о полезных функциях современного SQLite, про которые вы (возможно) не слышали.

Как вы наверняка знаете, SQLite обладает гибкой системой типов (за что некоторые даже называют его «джаваскриптом в мире СУБД»).

Вы можете хранить любые значения в столбцах любых типов: например, строки в INTEGER-столбце или бинарные данные в REAL-столбце.

Кто-то любит SQLite за эту гибкость, другие ненавидят за нее же.

Поэтому в какой-то момент авторы SQLite добавили «строгие» (STRICT) таблицы:Они проверяют типы так же, как традиционные СУБД вроде PostgreSQL или MySQL:Даже в строгой таблице можно объявить столбец как ANY — тогда в нем можно хранить значения любых типов.