Airbnb made it easy to bring data/AI ideas to life through a platform for prototyping web applications.By: Dan MillerWarm, friendly beach capturing the playful nature of prototyping.IntroductionTrustworthy data has always been a part of Airbnb’s technical DNA. However, it is challenging for our data scientists and ML practitioners to bring data- and AI-powered product ideas to life in a way that resonates with our design-focused leadership. Slide decks with screenshots, design documents with plots, and even Figmas are insufficient to capture ideas that need to be experienced in order to be understood. This was especially true as large language models (LLMs) took the world by storm, since th…

Riverbed Data Hydration — Part 1A deep dive into the streaming aspect of the Lambda architecture framework that optimizes how data is consumed from system-of-record data stores and updates secondary read-optimized stores at Airbnb.OverviewIn our previous blog post we introduced the motivation and high-level architecture of Riverbed. As a recap, Riverbed is a part of Airbnb’s tech stack designed to streamline and optimize how data is consumed from system-of-record data stores and update secondary read-optimized stores. The framework is built around the concept of ‘materialized views’ — denormalized representations of data that can be queried in a predictable, efficient manner. The primary go…

By: Leo Wong, Henry JohnsonHow the Airbnb Media team built group travel Postcards for the 2024 Summer Release by leveraging a novel destination matching algorithm while advancing the platform’s image & localized text processing capabilities.Airbnb Postcards (see announcement).IntroductionFor Airbnb’s 2024 Summer Release, the Media Ingestion team at Airbnb took on the exciting challenge of creating a reliable postcard generation system to generate unique, hand-crafted Postcards. Postcards are a beautiful way to invite guests on a trip while keeping friends and family in the loop (see announcement). This feature required a novel solution to match relevant postcards to every possible destinati…

An Important Foundation For Security, Privacy, and Compliance at AirbnbBy: Sam Kim, Alex Klimov, Woody Zhou, Sylvia Tomiyama, Aniket Arondekar, Ansuman AcharyaIntroductionAirbnb is built on trust. One key way we maintain trust with our community is by ensuring that personal data is handled with care, in a manner that meets security, privacy, and compliance requirements. Understanding where and what personal data exists is foundational to this.Over the past several years, we’ve built our own data classification system that adapts to the needs of our data ecosystem, to streamline our processes, and further unlock our ability to protect the data entrusted to Airbnb. This was made possible by m…

Airbnb’s Use of A New Flink platform evolved from Apache Hadoop® YarnIntroductionAt Airbnb, Apache Flink was introduced in 2018 as a supplementary solution for stream processing. It ran alongside Apache Spark™ Streaming for several years before transitioning to become the primary stream processing platform. In this blog post, we will delve into the evolution of Flink architecture at Airbnb and compare our prior Hadoop Yarn platform with the current Kubernetes-based architecture. Additionally, we will discuss the efforts undertaken throughout the migration process and explore the challenges that arose during this journey. In the end we will summarize the impact, learnings along the way and f…

Incrementally modernizing our frontend infrastructure to roll out the latest React features without downgradesIntroductionAirbnb’s frontend recently reached a major milestone: all of our web surfaces have been upgraded from React 16 to React 18, the current major version of React¹. This was a big project for a product with many surfaces, including Guest and Host pages as well as many internal tools. To safely perform this upgrade, we created the React Upgrade System: reusable infrastructure that allows us to roll out new versions of React progressively across our monorepo and measure the results of the upgrade. In this blog post, we’ll discuss our upgrade philosophy, the system we created, …

Airbnb has made significant strides in improving web accessibility for Hosts and guests who require larger text sizes.This post takes an in-depth look at:The problems encountered on mobile web when relying solely on browser zoom.The challenges of introducing changes that would impact the workflow of all frontend engineers.The benefits seen since launching these accessibility improvements.by: Steven BassettImproving web accessibility is a critical priority at Airbnb, and we use the Web Content Accessibility Guidelines (WCAG) to help guide our compliance efforts. One area that often leads to accessibility issues is WCAG 1.4.4 Resize Text (Level AA). This guideline, which we’ll refer to as Res…

How Airbnb enabled hosts and guests to connect and introduce themselves through the Host Passport.By: Anne LuIntroductionIn May 2023 we introduced the Host Passport as part of our Summer Release. We wanted to give Hosts a way to introduce themselves, and start building a more personal connection with their guests. To that end, we created the Host Passport, which appears in the bottom corner of each Private Room listing result with a photo of the Host on the cover. Guests can tap it to fully open the Host Passport and learn more about the Host and get a sense for the real live person they would be staying with.The Passport animationThe Host Passport offers Hosts a way to introduce themselves…

How we quantify brand perceptions from social media platforms through deep learningBy Tiantian Zhang, Shuai Shao (Shawn)IntroductionAt Airbnb, we have developed Brandometer, a state-of-the-art natural language understanding (NLU) technique for understanding brand perception based on social media data.Brand perception refers to the general feelings and experiences of customers with a company. Quantitatively, measuring brand perception is an extremely challenging task. Traditionally, we rely on customer surveys to find out what customers think about a company. The downsides of such a qualitative study is the bias in sampling and the limitation in data scale. Social media data, on the other ha…

Part three on how we built a Compose based architecture with Mavericks in the Airbnb Android appBy: Eli Hart, Ben Schwab, and Yvonne WongTrio is Airbnb’s framework for Jetpack Compose screen architecture in Android. It’s built on top of Mavericks, Airbnb’s open source state management library for Jetpack. In this blog post series, we’ve been breaking down how Trio works to help explain our design decisions, in the hopes that other teams might benefit from aspects of our approach.We recommend starting with Part 1, about Trio’s architecture, and then reading Part 2, about how navigation works in Trio, before you dive into this article. In this third and final part of our series, we’ll discuss…

A feature platform that offers observability and management tools, allows ML practitioners to use a variety of data sources, while handling the complexity of data engineering, and provides low latency streaming.By: Varant Zanoyan, Nikhil Simha RaproluChronon allows ML practitioners to use a variety of data sources as inputs to feature transformations. It handles the complexity of data plumbing, such as batch and streaming compute, provides low latency serving, and offers a host of observability and management tools.Airbnb is happy to announce that Chronon, our ML Feature Platform, is now open source.We’re excited to be making this announcement along with our partners at Stripe, who are earl…

Part two on how we built a Compose based architecture with Mavericks in the Airbnb Android appBy: Eli Hart, Ben Schwab, and Yvonne WongIn the previous post in this series, we introduced you to Trio, Airbnb’s framework for Jetpack Compose screen architecture in Android. Some of the advantages of Trio include:Guarantees type safety when communicating across module boundaries in complex appsCodifies expectations about how ViewModels are used and shared, and what interfaces look like between screensAllows for stable screenshot and UI tests and simple navigation testingCompatible with Mavericks, Airbnb’s open source state management library for Jetpack (Trio is built on top of Mavericks)If you n…

A three part series on how we built a Compose based architecture with Mavericks in the Airbnb Android appBy: Eli Hart, Ben Schwab, Yvonne WongAt Airbnb, we have developed an Android framework for Jetpack Compose screen architecture, which we call Trio. Trio is built on our open-source library Mavericks, which it leverages to maintain both navigation and application state within the ViewModel.Airbnb began development of Trio more than two years ago, and has been using it in production for over a year and a half. It is powering a significant portion of our production screens in Airbnb’s Android app, and has enabled our engineers to create features in 100% Compose UI.In this blog post series, …

How Airbnb achieved a smooth and transparent migration from Buck to Bazel on iOS, with minimal interference to developer workflowsBy: Qing Yang, Andy BartholomewAt Airbnb, we are committed to providing the best experience for our engineers. To offer a cohesive and efficient build experience across all platforms, we’ve decided to adopt Bazel as our build system. Bazel is a robust build system widely utilized in the industry. In alignment with Airbnb’s tech initiatives, both our backend and frontend teams initiated the migration process to Bazel. In the first Bazel post, we start with our iOS development migrating from Buck to Bazel.We’ll describe the migration approach which involved two mai…

KDD (Knowledge and Data Mining) is a flagship conference in data science research. Hosted annually by a special interest group of the Association for Computing Machinery (ACM), it’s where you’ll learn about some of the most ground-breaking developments in data mining, knowledge discovery, and large-scale data analytics.Airbnb had a significant presence at KDD 2023 with two papers accepted into the main conference proceedings and 11 talks and presentations. In this blog post, we’ll summarize our team’s contributions and share highlights from an exciting week of workshops, panel discussions, and more.Deep learning and search rankingEven though search ranking is a problem that researchers have…

Vidhya Arvind, Rajasekhar Ummadisetty, Joey Lynch, Vinay ChellaIntroductionAt Netflix our ability to deliver seamless, high-quality, streaming experiences to millions of users hinges on robust, global backend infrastructure. Central to this infrastructure is our use of multiple online distributed databases such as Apache Cassandra, a NoSQL database known for its high availability and scalability. Cassandra serves as the backbone for a diverse array of use cases within Netflix, ranging from user sign-ups and storing viewing histories to supporting real-time analytics and live streaming.Over time as new key-value databases were introduced and service owners launched new use cases, we encounte…

By Karthik Yagna, Baskar Odayarkoil, and Alex EllisPushy is Netflix’s WebSocket server that maintains persistent WebSocket connections with devices running the Netflix application. This allows data to be sent to the device from backend services on demand, without the need for continually polling requests from the device. Over the last few years, Pushy has seen tremendous growth, evolving from its role as a best-effort message delivery service to be an integral part of the Netflix ecosystem. This post describes how we’ve grown and scaled Pushy to meet its new and future needs, as it handles hundreds of millions of concurrent WebSocket connections, delivers hundreds of thousands of messages p…

By Jose Fernandez, Sebastien Dabdoub, Jason Kock, Artem TkachukThe Compute and Performance Engineering teams at Netflix regularly investigate performance issues in our multi-tenant environment. The first step is determining whether the problem originates from the application or the underlying infrastructure. One issue that often complicates this process is the "noisy neighbor" problem. On Titus, our multi-tenant compute platform, a "noisy neighbor" refers to a container or system service that heavily utilizes the server's resources, causing performance degradation in adjacent containers. We usually focus on CPU utilization because it is our workload's most frequent source of noisy neighbor …

By Jiangwei Pan, Gary Tang, Henry Wang, and Justin BasilicoIntroductionOur mission at Netflix is to entertain the world. Our personalization algorithms play a crucial role in delivering on this mission for all members by recommending the right shows, movies, and games at the right time. This goal extends beyond immediate engagement; we aim to create an experience that brings lasting enjoyment to our members. Traditional recommender systems often optimize for short-term metrics like clicks or engagement, which may not fully capture long-term satisfaction. We strive to recommend content that not only engages members in the moment but also enhances their long-term satisfaction, which increases…

By Aurélien Bibaut, Winston Chou, Simon Ejdemyr, and Nathan KallusWe are excited to share our work on how to learn good proxy metrics from historical experiments at KDD 2024. This work addresses a fundamental question for technology companies and academic researchers alike: how do we establish that a treatment that improves short-term (statistically sensitive) outcomes also improves long-term (statistically insensitive) outcomes? Or, faced with multiple short-term outcomes, how do we optimally trade them off for long-term benefit?For example, in an A/B test, you may observe that a product change improves the click-through rate. However, the test does not provide enough signal to measure a c…

Hechao Li, Roger CruzCloud Networking TopologyNetflix operates a highly efficient cloud computing infrastructure that supports a wide array of applications essential for our SVOD (Subscription Video on Demand), live streaming and gaming services. Utilizing Amazon AWS, our infrastructure is hosted across multiple geographic regions worldwide. This global distribution allows our applications to deliver content more effectively by serving traffic closer to our customers. Like any distributed system, our applications occasionally require data synchronization between regions to maintain seamless service delivery.The following diagram shows a simplified cloud network topology for cross-region tra…

Getting real with virtual threadsBy Vadim Filanovsky, Mike Huang, Danny Thomas and Martin ChalupaIntroNetflix has an extensive history of using Java as our primary programming language across our vast fleet of microservices. As we pick up newer versions of Java, our JVM Ecosystem team seeks out new language features that can improve the ergonomics and performance of our systems. In a recent article, we detailed how our workloads benefited from switching to generational ZGC as our default garbage collector when we migrated to Java 21. Virtual threads is another feature we are excited to adopt as part of this migration.For those new to virtual threads, they are described as “lightweight threa…

By Jun He, Natallia Dzenisenka, Praneeth Yenugutala, Yingyi Zhang, and Anjali NorwoodTL;DRWe are thrilled to announce that the Maestro source code is now open to the public! Please visit the Maestro GitHub repository to get started. If you find it useful, please give us a star.What is MaestroMaestro is a general-purpose, horizontally scalable workflow orchestrator designed to manage large-scale workflows such as data pipelines and machine learning model training pipelines. It oversees the entire lifecycle of a workflow, from start to finish, including retries, queuing, task distribution to compute engines, etc.. Users can package their business logic in various formats such as Docker images…

Applying Quality of Service techniques at the application levelAnirudh Mendiratta, Kevin Wang, Joey Lynch, Javier Fernandez-Ivern, Benjamin FedorkaIntroductionIn November 2020, we introduced the concept of prioritized load shedding at the API gateway level in our blog post, Keeping Netflix Reliable Using Prioritized Load Shedding. Today, we’re excited to dive deeper into how we’ve extended this strategy to the individual service level, focusing on the video streaming control plane and data plane, to further enhance user experience and system resilience.The Evolution of Load Shedding at NetflixAt Netflix, ensuring a seamless viewing experience for millions of users simultaneously is paramoun…

A summary of sessions at the first Data Engineering Open Forum at Netflix on April 18th, 2024The Data Engineering Open Forum at Netflix on April 18th, 2024.At Netflix, we aspire to entertain the world, and our data engineering teams play a crucial role in this mission by enabling data-driven decision-making at scale. Netflix is not the only place where data engineers are solving challenging problems with creative solutions. On April 18th, 2024, we hosted the inaugural Data Engineering Open Forum at our Los Gatos office, bringing together data engineers from various industries to share, learn, and connect.At the conference, our speakers share their unique perspectives on modern developments,…

Video annotator: a framework for efficiently building video classifiers using vision-language models and active learningAmir Ziai, Aneesh Vartakavi, Kelli Griggs, Eugene Lok, Yvonne Jukes, Alex Alonso, Vi Iyengar, Anna Pulidohttps://medium.com/media/02a5bbf97c619182adba24b45e42edcb/hrefIntroductionProblemHigh-quality and consistent annotations are fundamental to the successful development of robust machine learning models. Conventional techniques for training machine learning classifiers are resource intensive. They involve a cycle where domain experts annotate a dataset, which is then transferred to data scientists to train models, review outcomes, and make changes. This labeling process t…

At Netflix, we want to ensure that every current and future member finds content that thrills them today and excites them to come back for more. Causal inference is an essential part of the value that Data Science and Engineering adds towards this mission. We rely heavily on both experimentation and quasi-experimentation to help our teams make the best decisions for growing member joy.Building off of our last successful Causal Inference and Experimentation Summit, we held another week-long internal conference this year to learn from our stunning colleagues. We brought together speakers from across the business to learn about methodological developments and innovative applications.We covered…

Liwei Guo, Vinicius Carvalho, Anush Moorthy, Aditya Mavlankar, Lishan ZhuThis is the second post in a multi-part series from Netflix. See here for Part 1 which provides an overview of our efforts in rebuilding the Netflix video processing pipeline with microservices. This blog dives into the details of building our Video Encoding Service (VES), and shares our learnings.Cosmos is the next generation media computing platform at Netflix. Combining microservice architecture with asynchronous workflows and serverless functions, Cosmos aims to modernize Netflix’s media processing pipelines with improved flexibility, efficiency, and developer productivity. In the past few years, the video team wit…

By Ricky Gardiner, Alex Hutter, and Katie LefevreSince our previous posts regarding Content Engineering’s role in enabling search functionality within Netflix’s federated graph (the first post, where we identify the issue and elaborate on the indexing architecture, and the second post, where we detail how we facilitate querying) there have been significant developments. We’ve opened up Studio Search beyond Content Engineering to the entirety of the Engineering organization at Netflix and renamed it Graph Search. There are over 100 applications integrated with Graph Search and nearly 50 indices we support. We continue to add functionality to the service. As promised in the previous post, we’…

Michael Lindon, Chris Sanden, Vache Shirikian, Yanjun Liu, Minal Mishra, Martin TingleyHave you ever encountered a bug while streaming Netflix? Did your title stop unexpectedly, or not start at all? In the first installment of this blog series on sequential testing, we described our canary testing methodology for continuous metrics such as play-delay. One of our readers commentedWhat if the new release is not related to a new play/streaming feature? For example, what if the new release includes modified login functionality? Will you still monitor the “play-delay” metric?Netflix monitors a large suite of metrics, many of which can be classified as counts. These include metrics such as the nu…

Li Tang; Sr. Software Engineer | Saurabh Vishwas Joshi; Sr. Staff Software Engineer | Zhiyuan Zhang; Sr. Manager, Engineering |At Pinterest, we operate a large-scale online machine learning inference system, where feature caching plays a critical role to achieve optimal efficiency. In this blog post, we will discuss our decision to adopt Cachelib project by Meta Open Source (“Cachelib”) and how we have built a high-throughput, flexible feature cache by leveraging and expanding upon the capabilities of Cachelib.BackgroundRecommender systems are fundamental to Pinterest’s mission to inspire users to create a life they love. At a high level, our recommender models predict user and content inte…

Jeff Xiang | Senior Software Engineer, Logging Platform; Vahid Hashemian | Staff Software Engineer, Logging PlatformWhen it comes to PubSub solutions, few have achieved higher degrees of ubiquity, community support, and adoption than Apache Kafka®️, which has become the industry standard for data transportation at large scale. At Pinterest, petabytes of data are transported through PubSub pipelines every day, powering foundational systems such as AI training, content safety and relevance, and real-time ad bidding, bringing inspiration to hundreds of millions of Pinners worldwide. Given the continuous growth in PubSub-dependent use cases and organic data volume, it became paramount that PubS…

Pinterest Engineering TeamPinterest employees in San Francisco office standing together with the Mentor of the Year 2024 AwardOur internship program truly inspires employees to bring their best self to work every day. Our program has mentors across the business that help interns develop their skills to create a career they love. Our Mentors of the Year have shown exceptional dedication in guiding and supporting our interns on their professional journeys. Discover how being a mentor has helped them advance their own careers at Pinterest and find out what inspires them.In this blog, we’re joined by Irena Lee, Software Engineer I; Ricardo Casilimas, Software Engineer II; Lily Liu, Sr. Data Sci…

Improving Efficiency Of Goku Time Series Database at Pinterest (Part — 3)Monil Mukesh Sanghavi; Software Engineer, Real Time Analytics Team | Ming-May Hu; Software Engineer, Real Time Analytics Team | Xiao Li; Software Engineer, Real Time Analytics Team | Zhenxiao Luo; Software Engineer, Real Time Analytics Team | Kapil Bajaj; Manager, Real Time Analytics Team |At Pinterest, one of the pillars of the observability stack provides internal engineering teams (our users) the opportunity to monitor their services using metrics data and set up alerting on it. Goku is our in-house time series database that provides cost efficient and low latency storage for metrics data. Underneath, Goku is not a …

Zhihao Hong; Staff Software Engineer | Emma Adams; Sr. Software Engineer | Jeremy Muhia; Sr. Software Engineer | Blossom Yin; Software Engineer II | Melissa He; Sr. Software Engineer |SummaryVideo content has emerged as a favored format for people to discover inspirations at Pinterest. In this blog post, we will outline recent enhancements made to the Adaptive Bitrate (ABR) video performance, as well as its positive impact on user engagement.Terms:ABR: An acronym for Adaptive Bitrate (ABR) Streaming protocol.HLS: HTTP live streaming (HLS) is an ABR protocol developed by Apple and supported both live and on-demand streaming.DASH: Dynamic Adaptive Streaming over HTTP (DASH) is another ABR pro…

Ning Zhang; Sr. Technical Program Manager | Ang Xu; Principal Machine Learning Engineer | Claire Liu; Staff Software Engineer | Haichen Liu; Staff Software Engineer | Yiran Zhao; Staff Software Engineer | Haoyu He; Sr. Software Engineer | Sergei Radutnuy; Sr. Machine Learning Engineer | Di An; Sr. Software Engineer | Danyal Raza; Sr. Software Engineer | Xuan Chen; Sr. Software Engineer | Chi Zhang; Sr. Software Engineer | Adam Winstanley; Staff Software Engineer | Johnny Xie; Sr. Staff Software Engineer | Simeng Qu; Software Engineer II | Nishant Roy; Manager II, Engineering | Chengcheng Hu; Sr. Director, Engineering |In the first part of the post, we introduced the motivations on why we de…

Jordan Cutler; Sr. Sofware Engineer | Rebecca Yi; Sr. Sofware Engineer |Hi there! 👋 We’re Rebecca and Jordan, two Senior engineers who onboarded to Pinterest the same day as Web Engineers. We’ll share with you what onboarding at Pinterest is like, from the learning-packed first week to launching our first project two months later. Plus, we promise to include a healthy dose of our favorite Pinterest puns 😃Week 1Rebecca here 👋My first week at Pinterest was a rich blend of conventional onboarding information with a nice touch of social aspects to help me feel onboarded.We kicked off orientation with “Pintro” sessions (we warned you that there would be puns!), which informed us not only about w…

Lin Zhu; Staff Machine Learning Engineer | Eric Tam; Staff Software Engineer | Yuxiang Wang; Staff Machine Learning Engineer |Importance of NotificationsNotifications (e.g. email, push, in-app messages) play an important role in driving user retention. In our previous system, which operated on a daily budget allocation model, the system relied on predicting daily budgets for individual users on a daily basis, constraining the flexibility and responsiveness required for dynamic user engagement and content changes. Notification Event Processor (NEP) is a next generation notification system developed at Pinterest, offering the flexibility to process and make decisions to send notifications in …

Kapil Bajaj; Sr. Manager, Engineering | Zhenxiao Luo; Sr. Staff Software Engineer | Yi Yang; Sr. Software Engineer | Saahil Barai; Software Engineer I | Ming-May Hu; Software Engineer I |IntroductionPinterest is a visual discovery platform where people can find ideas like recipes, home and style inspiration, and much more. The platform offers its partners shopping capabilities as well as a significant advertising opportunity with 500+ million monthly active users. Advertisers can purchase ads directly on Pinterest or through partnerships with advertising agencies. Due to our huge scale, advertisers get an opportunity to learn about their Pins and their interaction with Pinterest users from …

Authors: Alberto Ordonez Pereira; Senior Staff Software Engineer | Lianghong Xu; Senior Manager, Engineering |This is the second part of a three series and focuses on how we selected the new storage technology that ended up replacing HBase.MotivationHBase has been a foundational storage system at Pinterest since its inception in 2013, when it was deployed at a massive scale and supported numerous use cases. However, it started to show significant inadequacy to keep up with the evolving business needs due to various reasons mentioned in the previous blog. As a result, two years ago we started searching for a next-generation storage technology that could replace HBase for many years to come a…

David Chang; Staff Software Engineer |Develocity, formerly known as Gradle Enterprise, is a powerful tool that speeds up local and CI build time, helps troubleshoot your builds, and analyzes your data. At Pinterest, we have a dedicated team, Mobile Builds, and we ensure that developers can build fast and often. This enables developers to be more productive by getting faster feedback on their code. We’ve been using the Develocity API to send data to Honeycomb for about a year. Honeycomb helps engineering teams deeply understand their own production systems through observability. If you’re already a Develocity customer, you might be wondering why you might want to build additional tooling to …

Eric Tzeng; ML Research Scientist, ATG | Raymond Shiau; ML Research Scientist, ATG |In this engineering note, we wanted to share some of our latest progress on Pinterest Canvas, a text-to-image foundation model for enhancing existing images and products on the platform. Building image foundation models has been a core part of Pinterest’s ML strategy for the past decade, but these have been focused on representation learning tasks (e.g. our Unified Visual Embedding v2, v3, etc.). More recently, we have begun to explore the application of generative models, specifically those that can be conditioned on existing Pinterest images, to create new backgrounds for products.Pinterest Canvas is built…

Michelle Vu; Web Performance Engineer |In this article we will focus on the systems we have in place to proactively detect and prevent regressions from being fully released in production.A/B Experiment ChecksCollecting performance metrics internally allows us to pipe these logs into our internal experiments framework. Pinterest has an excellent culture of wrapping any major user-impacting changes in an A/B experiment, which enables us to detect the performance impact of these changes. Below, we will describe how experiment regressions are detected and handled.Graded Experiment RegressionsExperiments that show a significant performance regression for five or more days of the last seven days …

Chia-Wei Chen; Sr. Software Engineer | Raymond Lee; Sr. Software Engineer | Alex Wang; Software Engineer I | Saurabh Vishwas Joshi; Sr. Staff Software Engineer | Karthik Anantha Padmanabhan; Sr. Manager, Engineering | Se Won Jang; Sr. Manager, Engineering |The Journey of our Ray InfrastructureIn the Part 1 of our blog series, we discussed the reason why we were motivated to invest in Ray to solve critical business problems. In this blogpost, we will go one step further to describe what it takes to integrate Ray into a web-scale company like Pinterest, where we have various unique constraints and challenges to embrace new technologies. This is a more comprehensive version of Ray Infrastructu…

We’re sharing more about the role that reinforcement learning plays in helping us optimize our data centers’ environmental controls. Our reinforcement learning-based approach has helped us reduce energy consumption and water usage across various weather conditions. Meta is revamping its new data center design to optimize for artificial intelligence and the same methodology will be [...]

Read More...

The post Simulator-based reinforcement learning for data center cooling optimization appeared first on Engineering at Meta.

How PyTorch powers AI training and inference Learn about new PyTorch advancements for LLMs and how PyTorch is enhancing every aspect of the LLM lifecycle. In this talk from AI Infra @ Scale 2024, software engineers Wanchao Liang and Evan Smothers are joined by Meta research scientist Kimish Patel to discuss our newest features and [...]

Read More...

The post How PyTorch powers AI training and inference appeared first on Engineering at Meta.

In this talk from AI Infra @ Scale 2024, Joel Colburn, a software engineer at Meta, technical lead Junqiang Lan, and software engineer Jack Montgomery discuss the second generation of MTIA, Meta’s in-house training and inference accelerator. They cover the co-design process behind building the second generation of Meta’s first-ever custom silicon for AI workloads, [...]

Read More...

The post Inside the hardware and co-design of MTIA appeared first on Engineering at Meta.

Llama 3 is Meta’s most capable openly-available LLM to date and the recently-released Llama 3.1 will enable new workflows, such as synthetic data generation and model distillation with unmatched flexibility, control, and state-of-the-art capabilities that rival the best closed source models. At AI Infra @ Scale 2024, Meta engineers discussed every step of how we [...]

Read More...

The post Bringing Llama 3 to life appeared first on Engineering at Meta.

Delivering new AI technologies at scale also means rethinking every layer of our infrastructure – from silicon and software systems and even our data center designs. For the second year in a row, Meta’s engineering and infrastructure teams returned for the AI Infra @ Scale conference, where they discussed the challenges of scaling up an [...]

Read More...

The post Aparna Ramani discusses the future of AI infrastructure appeared first on Engineering at Meta.

We launched Meta AI with the goal of giving people new ways to be more productive and unlock their creativity with generative AI (GenAI). But GenAI also comes with challenges of scale. As we deploy new GenAI technologies at Meta, we also focus on delivering these services to people as quickly and efficiently as possible. [...]

Read More...

The post How Meta animates AI-generated images at scale appeared first on Engineering at Meta.

AI networks play an important role in interconnecting tens of thousands of GPUs together, forming the foundational infrastructure for training, enabling large models with hundreds of billions of parameters such as LLAMA 3.1 405B. This week at ACM SIGCOMM 2024 in Sydney, Australia, we are sharing details on the network we have built at Meta [...]

Read More...

The post A RoCE network for distributed AI training at scale appeared first on Engineering at Meta.

What happens when a team of mechanical engineers get tired of looking at flat images of 3D models over Zoom? Meet the team behind Caddy, a new CAD app for mixed reality. They join Pascal Hartig (@passy) on the Meta Tech Podcast to talk about teaching themselves to code, disrupting the CAD software space, and [...]

Read More...

The post Meet Caddy – Meta’s next-gen mixed reality CAD software appeared first on Engineering at Meta.

The key to developer velocity across AI lies in minimizing time to first batch (TTFB) for machine learning (ML) engineers. AI Lab is a pre-production framework used internally at Meta. It allows us to continuously A/B test common ML workflows – enabling proactive improvements and automatically preventing regressions on TTFB. AI Lab prevents TTFB regressions [...]

Read More...

The post AI Lab: The secrets to keeping machine learning engineers moving fast appeared first on Engineering at Meta.

Tail utilization is a significant system issue and a major factor in overload-related failures and low compute utilization. The tail utilization optimizations at Meta have had a profound impact on model serving capacity footprint and reliability. Failure rates, which are mostly timeout errors, were reduced by two-thirds; the compute footprint delivered 35% more work for [...]

Read More...

The post Taming the tail utilization of ads inference at Meta scale appeared first on Engineering at Meta.

Meta’s advertising business leverages large-scale machine learning (ML) recommendation models that power millions of ads recommendations per second across Meta’s family of apps. Maintaining reliability of these ML systems helps ensure the highest level of service and uninterrupted benefit delivery to our users and advertisers. To minimize disruptions and ensure our ML systems are intrinsically [...]

Read More...

The post Meta’s approach to machine learning prediction robustness appeared first on Engineering at Meta.

We’re sharing how we streamline system reliability investigations using a new AI-assisted root cause analysis system. The system uses a combination of heuristic-based retrieval and large language model-based ranking to speed up root cause identification during investigations. Our testing has shown this new system achieves 42% accuracy in identifying root causes for investigations at their [...]

Read More...

The post Leveraging AI for efficient incident response appeared first on Engineering at Meta.

Meta is currently operating many data centers with GPU training clusters across the world. Our data centers are the backbone of our operations, meticulously designed to support the scaling demands of compute and storage. A year ago, however, as the industry reached a critical inflection point due to the rise of artificial intelligence (AI), we [...]

Read More...

The post Maintaining large-scale AI capacity at Meta appeared first on Engineering at Meta.

[...]

Read More...

The post Building new custom silicon for Meta’s AI workloads appeared first on Engineering at Meta.

On Spotify’s Analytics Platform, we’re dedicated to building products that empower data practitioners to discover, analyze, and share insights — [...]

The post Are You a Dalia? How We Created Data Science Personas for Spotify’s Analytics Platform appeared first on Spotify Engineering.

We have a lot of dashboards at Spotify. Our Insight teams and analysts from across the company are constantly whipping [...]

The post Unlocking Insights with High-Quality Dashboards at Scale appeared first on Spotify Engineering.

Car rides have become connected and interactive these days with drivers jamming to music or catching up on podcasts or [...]

The post Technical Decision-Making in a Fragmented Space: Spotify In-Car Case Study appeared first on Spotify Engineering.

Check out Data Platform Explained Part I, where we started sharing the journey of building a data platform, its building [...]

The post Data Platform Explained Part II appeared first on Spotify Engineering.

TL;DR Sometimes we cannot estimate the required sample size needed to power an experiment before starting it. To alleviate this [...]

The post Fixed-Power Designs: It’s Not IF You Peek, It’s WHAT You Peek at appeared first on Spotify Engineering.

Today, we announced Spotify’s latest products and services for companies adopting Backstage, the open source framework for building IDPs.

The post Supercharged Developer Portals appeared first on Spotify Engineering.

As engineers working at Spotify, we frequently find ourselves explaining our robust data platform to fellow professionals who are contemplating [...]

The post Data Platform Explained appeared first on Spotify Engineering.

TL;DR We summarize the findings in our recent paper, Schultzberg, Ankargren, and Frånberg (2024), where we explain how Spotify’s decision-making [...]

The post Risk-Aware Product Decisions in A/B Tests with Multiple Metrics appeared first on Spotify Engineering.

Introduction At Spotify, we’re dedicated to delivering a unified experience to our customers — which can sometimes be at odds [...]

The post Applying the Facade Pattern on Spotify for Artists appeared first on Spotify Engineering.

Each year, we aim to elevate the Spotify Wrapped experience for our users, crafting captivating data stories and pushing the [...]

The post Exploring the Animation Landscape of 2023 Wrapped appeared first on Spotify Engineering.

TL;DR Let’s cap the year by putting a spotlight on some of the valuable work people outside of Spotify are [...]

The post Q&A with the Maintainers of the Spotify FOSS Fund appeared first on Spotify Engineering.

Explore how Ripple's transition to Databricks will help support the future of XRP Ledger analytics.

Learn more about how Ripple is centralizing data and turning it into compelling insights to support business growth.

Unlock powerful time-series analytics with Snowflake's enhanced RANGE-based window frame, now generally available. The post Accelerate Time-Series Analytics with RANGE-Based Window Frames, now Generally Available appeared first on Snowflake.

Our optimization delivers fast results, with some customer queries reaching 99.8%.

The post Continued Investments in Price Performance and Faster Top-K Queries appeared first on Snowflake.

Discover how BigGeo is making location-based data more accessible and actionable.

The post Snowflake Startup Spotlight: BigGeo Puts Geospatial Intelligence on the Map appeared first on Snowflake.

Learn what’s new, including security enhancements and cost reductions.

The post Securely Deploy Custom Apps and Models with Snowpark Container Services, Now Generally Available appeared first on Snowflake.

Retrieval Augmented Generation (RAG) allows enterprises to ground responses from Large Language Models in their specific organization’s data. This helps ensure that AI-powered applications provide responses that are not only accurate, relevant, and consistent, but also aligned with business needs. At Snowflake, we make it simple for our customers to implement RAG, while also enabling […]

The post Snowflake Invests in Contextual AI to Make It Easier for Enterprises to Deploy RAG Applications in the AI Data Cloud appeared first on Snowflake.

Learn about advancing medical research with a robust data strategy.

The post Accelerating Academic Medical Research with an AI-Driven Data Strategy appeared first on Snowflake.

Available on GitHub, Polaris Catalog provides new levels of choice, flexibility and control over your data.

The post Polaris Catalog Is Now Open Source appeared first on Snowflake.

Learn how we're empowering customers to protect their valuable data.

The post Snowflake Advances Cybersecurity Excellence by Joining CISA Secure by Design Pledge appeared first on Snowflake.

Learn how Cortex Search provides hybrid search at enterprise scale

The post Snowflake Cortex Search: State-of-the-Art Hybrid Search for RAG Applications appeared first on Snowflake.

Remove integration and procurement friction, improve time to value.

The post How Snowflake Accelerates Business Growth for Providers of Data, Apps and AI Products appeared first on Snowflake.

Snowflake helps customers implement AI safety at scale with an easy, cost-effective LLM guardrails feature. The post Snowflake Cortex AI Launches Cortex Guard to Implement LLM Safeguards appeared first on Snowflake.

Today, Snowflake is excited to announce that the Llama 3.1 collection of multilingual large language models (LLMs) are now available in Snowflake Cortex AI, providing enterprises with secure, serverless access to Meta’s most advanced open source model. Snowflake offers the largest context window of any vendor, at 128k, for the Llama 3.1 collection of models. […]

The post Meta’s Llama 3.1 405B Now Available for Enterprise App Development in Snowflake Cortex AI appeared first on Snowflake.

Migrate, modernize and monetize to unlock innovation on Snowflake’s platform.

The post Getting the Most From Your Modern Data Platform: A Three-Phase Approach appeared first on Snowflake.

A potential recipe for disaster proved to be the focus of every data executive’s agenda over the last year. A year ago many data leaders were caught off-guard. Employees embraced new gen AI tools with fervor, driving interest in all AI initiatives. Generative AI had penetrated the enterprise, with gen AI positioned in the Peak […]

The post From Potential Disaster To Driver of Change… Data Execs Share Their Journeys To Effective AI appeared first on Snowflake.

Join us on July 25, 2024 for a Sports and AI virtual event.

The post Snowflake’s Summer of Sports and AI appeared first on Snowflake.

Deep dive for using DNS with Cloudera Data Services on Azure

The post DNS Zone Setup Best Practices on Azure appeared first on Cloudera Blog.

AI technology has had a huge impact on nursing education, which has evolved significantly in recent years.

AI technology has created many promising new opportunities for software engineers in recent years.

AI technology is making it easier than ever to manage documents.

AI technology has led to major breakthroughs in video technology, which can make video chats great for team collaboration.

Ecommerce businesses should use data analytics to bolster their commerce media strategy.

Big data technology has significantly changed the healthcare sector over the last few years and will continue to impact it for years to come.

Transform your business with generative AI! Learn how to unlock new revenue streams and drive growth through innovative solutions.

You will need to understand the importance of social media analytics if you are trying to boost your Instagram visibility.

DEI can be great for AI startups that are trying to improve inclusivity and get quality employees.

AI technology provides a number of amazing benefits for retailers trying to reach customers more effectively through mobile apps.

Explore how AI and data analytics are revolutionizing internet providers' approaches to customer satisfaction and service efficiency!

There are a lot of cybersecurity risks for companies that rely on AI, but they can be rectified if you take the right steps.

These top artificial intelligence and machine learning companies are providing great options for anyone interested in AI or machine learning.

Data analytics technology offers a number of benefits in healthcare, so nursing programs are teaching their students about it.

More construction companies are using AI technology to improve their business models.

Data engineering is a hot topic in recent years, mainly due to the rise of artificial intelligence, big data, and data science. Every enterprise is transforming in the direction of digitalization. For enterprises, data is full of infinite value. For all the data requirements of organizations, the first thing they need to do is to […]

The post How to Become a Data Engineer (2024 Guide) appeared first on WeCloudData.

Discover how machine learning revolutionizes real estate price prediction, overcoming biases and empowering data-driven decisions. Harness AI for accurate market analysis and secure your dream home investment.

The post Real Estate Price Prediction: Harnessing Machine Learning appeared first on WeCloudData.

Machine learning has revolutionized email spam detection, offering sophisticated solutions to combat the continuous influx of unwanted emails. Deep learning techniques, with their advanced pattern recognition capabilities, have significantly improved spam detection accuracy, ensuring that users receive only relevant and valuable information in their inboxes. Explore how machine learning is enhancing email security and reducing spam effectively.

The post Using Machine Learning to Distinguish Between Spam and Legitimate Emails appeared first on WeCloudData.

Machine learning is revolutionizing traffic prediction, enhancing route planning and reducing congestion in urban commuting. Explore advanced algorithms like Uni-LSTM and BiLSTM for accurate forecasts, along with Google Maps' integration of deep learning for improved ETA accuracy. Discover the practical utility of machine learning in everyday life.

The post Navigating your way: Traffic Prediction with Machine Learning appeared first on WeCloudData.

Introduction In recent years, the landscape of employment has undergone a profound transformation, with remote work emerging as a viable and increasingly popular option for professionals across various industries. The advent of advanced technologies and shifting attitudes towards work-life balance have paved the way for remote work to become a mainstream phenomenon. In this blog, […]

The post Analyzing Remote Work Opportunities in Today’s North America Job Market appeared first on WeCloudData.

Explore how energy management is evolving with advanced solar power generation forecasting, enabling more efficient use of renewable resources and optimizing grid performance. Dive into the future of sustainable energy solutions.

The post Energy Management: Solar Power Generation Forecasting appeared first on WeCloudData.

Discover how machine learning is revolutionizing smart agriculture, enhancing crop yields, optimizing resources, and making farming more sustainable. Learn about the latest technologies and trends in agriculture.

The post Smart Agriculture: How Machine Learning is Helping Farming appeared first on WeCloudData.

Weather forecasting is a complex science that involves analyzing vast amounts of data from various sources, including satellites, weather stations, and radar systems.

The post More Accurate Predictions for Your Day: Machine Learning in Weather Forecasting appeared first on WeCloudData.

For those of you who read my last blog, I looked at how the data science job market had performed in 2023 – at least since August when the data collection began. The end of the calendar year provided a fitting moment to take a step back and assess what had transpired in the ensuing […]

The post Data Science Job Market Trends: Navigating the Shifts from 2023 to 2024 appeared first on WeCloudData.

Explore the transformative impact of machine learning on the entertainment industry, from personalized content recommendations to AI-driven music and film production, enhancing viewer experiences.

The post Machine Learning in Entertainment: Customizing Movie Recommendations appeared first on WeCloudData.

Online Shopping Redefined: Predicting Shopper Behavior with Machine Learning

The post Online Shopping Redefined: Predicting Shopper Behavior with Machine Learning appeared first on WeCloudData.

Revolutionize healthcare with machine learning for early disease detection. Explore cutting-edge solutions improving everyday health, ensuring timely interventions for a healthier future. #HealthTech #MachineLearning #DiseaseDetection

The post Enhancing Everyday Healthcare with Machine Learning: Early Disease Detection appeared first on WeCloudData.

Machine Learning Engineer: Navigate the evolving landscape of ML in 2024 with insights from WeCloudData's workshop. Explore the structured ML pipeline, data engineering essentials, model engineering nuances, ML Ops challenges, and diverse tools. Build robust ML systems and embark on a successful journey into the dynamic world of ML engineering.

The post Navigating the Path to Become a Machine Learning Engineer in 2024: A Step-by-Step Guide appeared first on WeCloudData.

"Discover Data Science, Engineering, and Analysis with WeCloudData. Uncover unique roles, skills, and tools in specialized bootcamps. Propel your career in decoding insights, building data infrastructure, and actionable intelligence

The post Different between Data Science, Engineering, and Analysis appeared first on WeCloudData.

Data Job: Elevate your career with a compelling resume tailored for success. Uncover the transformative power of OpenAI API in crafting dynamic content that captivates hiring managers. Explore the art of showcasing data skills, quantifying achievements, and aligning with job descriptions.

The post Crafting an Effective Resume with OpenAI appeared first on WeCloudData.

Machine Learning Platforms (ML Platforms) have the potential to be a key component in achieving production ML at scale without large technical debt, yet ML Platforms are not often understood. This document outlines the key concepts and paradigm shifts that led to the conceptualization of ML Platforms in an effort to increase an understanding of these platforms and how they can best be applied.

Technical Debt and development velocity defined

Development Velocity

Machine learning development velocity refers to the speed and efficiency at which machine learning (ML) projects progress from the initial concept to deployment in a production environment. It encompasses the entire lifecycle of a ma…

https://youtu.be/rjpXnaabaqo Unapologetically Technical’s newest episode is now live! In this episode of Unapologetically Technical, I interview Jeff Chou, CEO and co-founder of Sync Computing. Jeff, who holds a PhD from UC Berkeley and a postdoc from MIT, shares his unique journey from academia to startup life, and how his experience with simulations shaped the vision […]

The post Unapologetically Technical Episode 13 – Jeff Chou first appeared on Jesse Anderson.

https://youtu.be/NaOwMim240Y This video covers the latest announcements from StreamNative, Confluent, and WarpStream. We discuss communication protocols, how they’re used, and what they mean for you. We also discuss the various systems using Kafka’s protocol. Finally, we discuss the announcements about writing to Iceberg and DeltaLake directly from the broker and what that means for costs […]

The post Unpacking the Latest Streaming Announcements: A Comprehensive Analysis first appeared on Jesse Anderson.

https://youtu.be/3L-QvVca-As Unapologetically Technical’s newest episode is now live! In this episode of Unapologetically Technical, I interview AJ Hunyady, the founder and CEO of InfinyOn. We talked about his early experiences with networking systems, such as creating firewalls, email, and web servers, and how those prepared him for data work. We chatted about the various implications […]

The post Unapologetically Technical Episode 12 – AJ Hunyady first appeared on Jesse Anderson.

https://www.youtube.com/watch?v=8NHGyesU2Kw In this episode of Unapologetically Technical, I interview Hubert Dulay, the author of Streaming Data Mesh and Developer Advocate at StarTree. We talked about his early experience with web backends like CORBA and SOAP and how those prepared him for data work. He shares his advice for those with web development skills to transition […]

The post Unapologetically Technical Episode 11 – Hubert Dulay first appeared on Jesse Anderson.

I had the pleasure of being one of the speakers at GOTO Amsterdam 2023 where I talked about Why Most Data Projects Fail & How to Avoid It and I can’t wait to share this talk with you! Abstract: Unfortunately, the majority of data projects fail. Yet, they fail for the same reasons. Most […]

https://youtu.be/ayAGiPd2zq4?si=o0SHbsbT0-Pmdkqd This week on Unapologetically Technical, I had the wonderful pleasure of interviewing Gunnar Morling, the creator of the Billion Row Challenge and Senior Staff Software Engineer at Decodable. In this episode, we talk about why it is so important to stay in a position long enough to gain experience and see the success or failure of decisions. […]

https://youtu.be/ZJF7zLvH6-w?si=YHBTQ7B7XB2zwkrq It has been quite a while, but we’re finally back to a new episode this year! In this episode of Unapologetically Technical, I interview Tom Scott, the Founder and CEO of Streambased. Join us as we talk about distributed systems and how he created distributed or what we call the Monte Carlo simulations. We […]

https://youtu.be/0WAfevbtdeY?si=YbN7DhD3ApqoNhf3 The premier of my latest talk covering The State of Data Engineering. I go through the history of the industry to see where we’re heading. This starts with data warehousing and goes into data science. I finish off by showing how data engineering can avoid the same fate as data warehousing and data science. […]

Generative AI is leading to many new features and capabilities. As a result, your employees may not know about all the new tools you are deploying. I was recently working with a customer that had deployed Amazon Q Developer for all their software developers. However, many developers didn’t know they had access to the productivity […]

We are pleased to announce the general availability of the AWS Cloud Control provider for Pulumi, an modern infrastructure management platform, which allows our customers to adopt AWS innovations faster than ever before. AWS has consistently expanded its range of services to support any cloud workload, supporting over 200 fully featured services and introducing more […]

In this post, we implement a fashion assistant agent using Amazon Bedrock Agents and the Amazon Titan family models. The fashion assistant provides a personalized, multimodal conversational experience.

In this post, we show you an analysis tool which serves as a starting point to your database analysis journey by highlighting specific interdependencies between database objects: object dependencies, object constraints, and trigger references. Through a combination of SQL queries on the source Oracle database dictionary and Excel filters, the solution in this post can capture interdependent database objects for a target schema and generate a visual dependency diagram.

In this post, we describe how Aviva built a fully serverless MLOps platform based on the AWS Enterprise MLOps Framework and Amazon SageMaker to integrate DevOps best practices into the ML lifecycle. This solution establishes MLOps practices to standardize model development, streamline ML model deployment, and provide consistent monitoring.

In this post, we learn how Visier was able to boost their model output by 10 times, accelerate innovation cycles, and unlock new opportunities using Amazon SageMaker.

In this post, we discuss how you can use the ApplyGuardrail API in common generative AI architectures such as third-party or self-hosted large language models (LLMs), or in a self-managed Retrieval Augmented Generation (RAG) architecture.

This post demonstrates how to implement a dynamic rules engine using Amazon Managed Service for Apache Flink. Our implementation provides the ability to create dynamic rules that can be created and updated without the need to change or redeploy the underlying code or implementation of the rules engine itself. We discuss the architecture, the key services of the implementation, some implementation details that you can use to build your own rules engine, and an AWS Cloud Development Kit (AWS CDK) project to deploy this in your own account.

In this blog, we will explore how Amazon Q Developer Agent for code transformation accelerates Java application upgrades. We will examine the benefits of this Generative AI-powered agent and outline strategies to achieve maximal acceleration, drawing from real-world success stories and best practices. Benefits of using Amazon Q Developer to upgrade your applications Amazon Q […]

In this post, we show how the team at Schneider collaborated with the AWS Generative AI Innovation Center (GenAIIC) to build a generative AI solution on Amazon Bedrock to solve this problem. The solution processes and evaluates each requests for proposal (RFP) and then routes high-value RFPs to the microgrid subject matter expert (SME) for approval and recommendation.

In this post, we discuss scaling up generative AI for different lines of businesses (LOBs) and address the challenges that come around legal, compliance, operational complexities, data privacy and security.

In this post, we explore how Amazon Q Business uses personalization to improve the relevance of responses and how you can align your use cases and end-user data to take full advantage of this capability

In this post, we show you how to create accurate and reliable agents. Agents helps you accelerate generative AI application development by orchestrating multistep tasks. Agents use the reasoning capability of foundation models (FMs) to break down user-requested tasks into multiple steps.

After careful consideration, we have made the decision to end support for Governed Tables, effective December 31, 2024, to focus on open source transactional table formats such as Apache Iceberg, Apache Hudi, and Linux Foundation Delta Lake. This decision stems from customer preference for these open source solutions, which offer ACID-compliant transactions, compaction, time travel, and other features previously provided by Governed Tables.

Tokenization is the process of creating a digital asset on a blockchain that can represent various assets, including physical assets, digital assets, or even rights of ownership. In this post, we explore the advantages of tokenizing real estate assets using blockchain technology in order to streamline property ownership transfers. We discuss the benefits of tokenization […]

As organizations increasingly rely on Amazon DynamoDB for their operational database needs, the demand for advanced data insights and enhanced search capabilities continues to grow. Leveraging the power of Amazon OpenSearch Service and Amazon Bedrock, you can now unlock generative artificial intelligence (AI) capabilities for your DynamoDB data. In this post, we show how you […]

This post is co-authored with Kate Fike, Software Engineer at BCM One. BCM One is a leading global provider of NextGen Communications and Managed Services to IT leaders and channel resellers. They have multiple NextGen Communications brands, including Flowroute. Flowroute offers SIP trunking and a business messaging platform for mission-critical voice applications. In this post, […]

Over the last year, Amazon Redshift added several performance optimizations for data lake queries across multiple areas of query engine such as rewrite, planning, scan execution and consuming AWS Glue Data Catalog column statistics. In this post, we highlight the performance improvements we observed using industry standard TPC-DS benchmarks. Overall execution time of TPC-DS 3 TB benchmark improved by 3x. Some of the queries in our benchmark experienced up to 12x speed up.

AWS has been recognized as a Leader in the 2024 Gartner Magic Quadrant for Data Science and Machine Learning Platforms. The post highlights how AWS's continued innovations in services like Amazon Bedrock and Amazon SageMaker have enabled organizations to unlock the transformative potential of generative AI.

Amazon ElastiCache, a fully managed, Redis OSS- and Memcached-compatible caching service, now supports size flexibility for all its reserved node offerings, enabling your reserved node discount to apply across differently sized node types beyond the size specified in your reservation. With flexible reserved nodes, you no longer need to commit to a specific node size when purchasing a reservation, reducing the overhead of capacity planning and enabling you to right-size your clusters as your workloads and capacity needs change. In this post, we explain how you can use this new size flexibility feature to leverage discounted pricing on your ElastiCache clusters.

In this post, we presented how to create a fully serverless voice-based contextual chatbot using Amazon Bedrock with Anthropic Claude.

This post discusses how customers can maintain access to Amazon Monitron after it is closed to new customers and what some alternatives are to Amazon Monitron.

In this post, we delve into the intricacies of configuring AWS DMS replication instances to use an S3 bucket in a different account. We also explore the process of establishing a connection between AWS DMS Serverless and S3 buckets across distinct accounts.

In this post, we provide a step-by-step approach of fine-tuning a Mistral model using SageMaker and import it into Amazon Bedrock using the Custom Import Model feature.

In this blog post, we will show you how to leverage AI21 Labs’ Task-Specific Models (TSMs) on AWS to enhance your business operations. You will learn the steps to subscribe to AI21 Labs in the AWS Marketplace, set up a domain in Amazon SageMaker, and utilize AI21 TSMs via SageMaker JumpStart.

As organizations increasingly adopt Amazon Q Developer, understanding how developers use it is essential. Diving into specific telemetry events and user-level data clarifies how users interact with Amazon Q Developer, offering insights into feature usage and developer behaviors. This granular view, accessible through logs, is vital for identifying trends, optimizing performance, and enhancing the overall […]

By Priya Mallya, Managing Director – Accenture, Sandeep Singh Bhatia, Sr Manager – Accenture Vikas Purohit – Sr. Solutions Architect – AWS Being able to internally setup and manage flexible, efficient infrastructure can be painful. Manually authoring your Infrastructure as Code (IaC) templates is error prone and time consuming. However, adoption of generative […]

Amazon CodeCatalyst is a unified service that streamlines the entire software development lifecycle, empowering teams to build, deliver, and scale applications on AWS. DevSecOps is the practice of integrating security into all stages of software development. Rather than prioritizing features, it injects security into an earlier phase of the development process – baking it into […]

In this post, we explore some ways you can use Anthropic’s Claude 3 Sonnet’s vision capabilities to accelerate the process of moving from architecture to the prototype stage of a solution.

Hi everyone, Been building a scraper to collect millions of historic responses from an old API in Python, but due to the so-so support for concurrency and the need to get dozens of endpoints, the whole thing is SO slow. I know Python is the best language for big data, transformation, interfacing with SQL/databases, etc (and it’s my favorite language to write in), but is there any merit to using another language to build the “E” phase of the ETL/ELT process in certain cases? Something like Go, Scala, etc? Or is this just an issue with my code and Python should be good in 99% of every case? submitted by /u/Butterhero_ [link] [comments]

Maybe this is also of interest for the data engineering community. Enjoy... https://github.com/Zeutschler/nanocube https://www.reddit.com/r/Python/comments/1fxgkj6/python_is_awesome_speed_up_pandas_point_queries https://preview.redd.it/v1j5scjhvbtd1.png?width=640&format=png&auto=webp&s=9cdb96ea5797d9f17a2ba469c65584ddccdbcfb9 submitted by /u/Psychological-Motor6 [link] [comments]

I’ve been working on migrating data from MongoDB to SQL, but I’m running into some roadblocks with schema design and performance issues. Handling unstructured data and converting it to relational formats efficiently has been tricky. I came across a blog that covers some good methods for handling migrations like this, and it includes screenshots and limitations of each approach. It gave me a clearer picture of what to expect during the process. Has anyone here done a MongoDB to SQL migration? Any tips or tools you’d recommend? submitted by /u/AwarenessIcy5353 [link] [comments]

Hey all! Recently, I was tasked with finding a reliable open-source data replication tool for my company, and I know how overwhelming it can get with all the available options. After doing some research, I came across this article that really broke things down and helped me compare different tools side by side. The article covers some of the best open-source data replication tools, highlighting their features, pros, and cons, which made it easier for me to decide which one would fit my needs. If anyone here is looking for a similar solution or just wants to stay informed, I highly recommend checking it out. Here's the link: https://hevodata.com/learn/best-open-source-data-replication-tools/…

Hey folks, I’ve been working on migrating data from Oracle to Snowflake, and it’s been a bit of a nightmare trying to figure out the right ETL process. After searching around for guides and best practices, I came across this blog: Oracle to Snowflake ETL Guide This post really laid everything out in a clear, step-by-step manner, from setting up the ETL process to handling data transformations. If anyone is struggling with Oracle to Snowflake migrations, this guide is super helpful and saved me a ton of time. Highly recommend checking it out! Hope this helps someone else! submitted by /u/Far-Muffin-2672 [link] [comments]

Hi everyone, Recently, I came across some challenges with Change Data Capture (CDC) for a project that I am working on, and I needed to find a reliable CDC tool. I stumbled upon this blog that lists the seven best CDC tools, and it really helped me. The article does a very good job of breaking down the pros and cons of each tool so that it is much easier for me to pick the right one for what I need. If anyone else is looking for a CDC solution, I'd recommend checking this out. Blog: 7 Best CDC Tools for Change Data Capture in 2024 Hope it helps! submitted by /u/Spiritual-Path-7749 [link] [comments]

Hi guys, lately, I have been struggling to find the right Apache ETL tools—especially when it comes to figuring out the right one for my project. Like there are so many options, and it's hella confusing. After researching a lot online I came across an article and it helped me a lot!! So anyone else going through this, check out that article apache etl tools submitted by /u/akshita_0303 [link] [comments]

How dynamic and static arrays work under the hoodContinue reading on Towards Data Science »

Explore Overpass, Geoapify, Distancematrix.ai, Amadeus, and Mapillary for Advanced Mapping and Location DataContinue reading on Towards Data Science »

Getting Started with Powerful Data Tables in Your Python Web AppsUsing AG Grid to build a Finance app in pure Python with ReflexThese past few months, I’ve been exploring various data visualization and manipulation tools for web applications. As a Python developer, I often need to handle large datasets and display them in interactive, customizable tables. One question that consistently bothered me was: How can I build a powerful data grid UI that integrates seamlessly with my Python backend?There are countless options out there to build sophisticated data grids, but as a Python engineer, I have limited experience with JavaScript or any front-end framework. I was looking for a way to create …

Exploring the AI Alignment Problem with GridworldsIt’s difficult to build capable AI agents without encountering orthogonal goalsDesign of a “Gridworld” which is hard for an AI agent to learn without encouraging bad behaviour. Image by the Author.This is the essence of the AI alignment problem:An advanced AI model with powerful capabilities may have goals not aligned with our best interests. Such a model may pursue its own interests in a way that is detrimental to the thriving of human civilisation.The alignment problem is usually talked about in the context of existential risk. Many people are critical of this idea and think the probability of AI posing an existential risk to humanity is t…

Why real-time data and governance are non-negotiable for AIPhoto by Sid Verma on UnsplashKafka is great. AI is great. What happens when we combine both? Continuity.—AI is changing many things about our efficiency and how we operate: sublime translations, customer interactions, code builder, driving our cars etc. Even if we love cutting-edge things, we’re all having a hard time keeping up with it.There is a massive problem we tend to forget: AI can easily go off the rails without the right guardrails. And when it does, it’s not just a technical glitch, it can lead to disastrous consequences for the business.From my own experience as a CTO, I’ve seen firsthand that real AI success doesn’t com…

Create more interpretable models by using concise, highly predictive features, automatically engineered based on arithmetic combinations of numeric featuresIn this article, we examine a tool called FormulaFeatures. This is intended for use primarily with interpretable models, such as shallow decision trees, where having a small number of concise and highly predictive features can aid greatly with the interpretability and accuracy of the models.Interpretable Models in Machine LearningThis article continues my series on interpretable machine learning, following articles on ikNN, Additive Decision Trees, Genetic Decision Trees, and PRISM rules.As indicated in the previous articles (and covered…

How to Instantly Detect Data Quality Issues and Identify their CausesContinue reading on Towards Data Science »

Unpacking problem solving and tool-driven decision making in AIImage by Author and GPT-4o depicting an AI agent at the intersection of reasoning and tool callingIntroduction: The Rise of Agentic AIToday, new libraries and low-code platforms are making it easier than ever to build AI agents, also referred to as digital workers. Tool calling is one of the primary abilities driving the “agentic” nature of Generative AI models by extending their ability beyond conversational tasks. By executing tools (functions), agents can take action on your behalf and solve complex, multi-step problems that require robust decision making and interacting with a variety of external data sources.This article fo…

UNLOCK THE FULL POTENTIAL OF YOUR RAG WORKFLOWWhy, When, and How to chunk for enhanced RAGHow do we split the balls? (Generated using Cava)The maximum number of tokens that a Large Language Model can process in a single request is known as context length (or context window). The table below shows the context length for all versions of GPT-4 (as of Sep 2024). While context lengths have been increasing with every iteration and with every newer model, there remains a limit to the information we can provide the model. Moreover, there is an inverse correlation between the size of the input and the context relevancy of the responses generated by the LLM, short and focused inputs produce better re…

Dissecting the motivations, risks, and potential rewards of a software “heart transplant”Continue reading on Towards Data Science »

Based on a customer case study, an advanced tutorial on using Delta Live Tables to process JSON schema evolution without the need to…Continue reading on Towards Data Science »

Make your code shine by transforming the IDE into a stunning coding environmentIntroductionI have been using Visual Studio Code for several years, and I strongly consider it one of the best existing IDEs. While some may still prefer JetBrains IDEs, which are also very popular, Visual Studio Code has significant advantages: it is free, lightweight, and highly customizable.Visual Studio Code has a large community of developers and contributors. Given that, there exists a plethora of available free plugins. In my experience, plugins play an important role in terms of productivity by allowing engineers to use custom shortcuts, style the IDE, automatically save files, or even manage Git workflow…

A Complete AWS ML Solution with SageMaker, Lambda, and API GatewayContinue reading on Towards Data Science »

Coming from a data analyst without a PhD or technical backgroundContinue reading on Towards Data Science »

The bad news? Data breaks. The good news? These 4 Snowflake data quality checks & features can help!

A beginner’s guide to implementing the latest industry trend: a data mesh.

Show me your data quality scorecard and I’ll tell you whether you will be successful a year from now.

The modern data warehouse architecture creates problems across many layers. Consider instead an immutable data warehouse for scale and usability.

This article provides an overview of a newly developed approach to an always on compliance testing strategy at Mission Lane.

We've bookmarked the can't-miss moments of Snowflake Data Cloud Summit 2024.

The data estate is evolving, and data quality management needs to evolve right along with it. Here are three common approaches and where the field is heading in the AI era.

Data quality monitoring is one of the traditional methods of managing data quality—but is it enough? Find out what's missing, and how to do it better.

How to improve your Data Quality Metrics and why it matters for your business.

In Spring 2024, Monte Carlo earned both #1 in the Data Observability category and #1 in the Database Monitoring category, along with 14 additional awards.

Snowflake cost optimization efforts need to be right sized. Read how to get the most savings without investing too much time and sweat.

Leverage machine learning to proactively identify data and data pipeline anomalies so you can fix bad data before it impacts your analytics, AI and other data products.

Learn how the Aircall team uses Monte Carlo's data observability solution to maintain their focus on self-serve infrastructure without compromising on data quality.

Data reliability on your radar? Get started with these 7 must-have data quality tests, including null value, numeric distribution, and freshness tests.

Understand what prompt engineering is and why it’s valuable—as well as a few other GenAI skills that should be at the top of your list.

Building and scaling Notion’s data lakeВ июле этого года в блоге Notion вышла подробная статья об их опыте построении data lake: https://www.notion.so/blog/building-and-scaling-notions-data-lake

В блоге базы данных ClickHouse вышел интересный пост, направленный на PostgreSQL юзеров, в нём показаны ключевые различия между моделированием данных в ClickHouse и PostgreSQL: https://clickhouse.com/blog/postgres-to-clickhouse-data-modeling-tips

Нашел в Ютубе двухчасовой доклад про индексы в PostgreSQL: Индексы в PostgreSQL. Как понять, что создавать

Нашел в сети пост мини-книгу от небезызвестной Chip Huyen: Building A Generative AI PlatformПожалуй, это одно из самых подробных руководств про построение Generative AI платформ своими руками, или как сейчас говорят RAG in Production.

Гайд по промпт-инжинирингу от ребят из Anthropic: AI prompt engineering: A deep diveТакже в описании видео есть ссылка на их же мануал: https://docs.anthropic.com/en/docs/build-with-claude/prompt-engineering/overview

DuckCon #5Плейлист с докладами из прошедшей конференции DuckCon #5:— DuckDB – Overview and latest developments— MotherDuck: Taking flight with interactive analytics— Outliers are all you need— Quack attack: Bringing DuckDB to the dart side— A duck for your dashboard: Performant data apps in the browser with DuckDB— Delighting users with RESTful APIs and DuckDB— Aerodynamic data models: Flying fast at scale with DuckDB— Double glazing: Two years of windowing improvements— dbverse: Composable database libraries for larger-than-memory scientific analytics— A quack at building scalable data pipelines with DuckDB

3-х часовой мастер-класс про LLM от Sebastian Raschka: Building LLMs from the Ground Up: A 3-hour Coding Workshop

Бот-помощник для дата инженера 🤖Частенько возникает необходимость расшифровать расписание crontab-выражения на человеческий язык, поэтому запили телеграм-бота: CrontabDescriptionBot Отправьте ему cron-строку и он вернёт вам расписание. Пользуйтесь!Под капотом он работает на лямбдах, поэтому оплачивать хостинг мне не надо, и поэтому всегда будет работать.

В сети появился интересный проект — SlateDB. Это встроенное хранилище на базе LSM Tree, но все данные хранятся на Object Storage сервисах (Amazon S3, Google Cloud Storage, minIO и т.д.). Проект написан на Rust, и пока не существует биндингов на другие языки. SlateDB активно разрабатывается и пока не рекомендуется к использованию в продакшене.Судя по всему, проект появился в результате прохождения мини-курса Mini-LSM.

Недавно я постил доклад про GIL и его отключение в будущих версиях Python. Вчера же на канал PyCon US загрузили доклад от Юры Селиванова про сабинтерпретаторы: Overcoming GIL with subinterpreters and immutability. Это один из вариантов улучшения производительности Python без отключения GIL. Я сам не сторонник удаления GIL, т.к. параллельное выполнение потоков потребует от программиста следить за их синхронизацией, чем собственно сейчас занимается GIL (он же mutex), поэтому интересно было послушать его доклад.Для тех, кто в танке, PEP 734 описывает работу сабинтерпретаторов, релиз этой библиотеки планировался в составе Python 3.13, но, к сожалению, Steering Council в апреле этого года решил …

Мудрые слова!А что думаете вы? Я на практике также стараюсь максимально избегать распределенных транзакций, т.к. это сразу значительно усложняет систему.Наиболее популярные паттерны распределенных транзакций:— Saga Pattern— 2-Phase Commit

Релиз Apache Airflow 2.10Сегодня вышел релиз новой версии Apache Airflow — 2.10. Не успел я ещё перейти на 2.9, а нам подогнали 2.10. Что нового?— @skip_if и @run_if декораторы, позволяющие задавать условия при которых следует запускать или пропускать`task` — появилась возможность задавать разный Executor для tasks в рамках одного DAG— Датасеты отныне не триггерят DAGs, находящиеся в состоянии paused— Важно! Начиная с версии 2.10 Airflow по-умолчанию собирает телеметрию в рамках Open Source Marketing, все данные передаются в систему аналитики Scarf. Чтобы отключить, необходимо задать в конфиге [usage_data_collection]enabled=False либо через переменную окружения SCARF_ANALYTICS=falseС полным…

GIL и PythonPython, пожалуй, самый популярный язык программирования в дата инжиниринге несмотря на то, что его постоянно ругают за производительность и обжорство. Свои позиции он не сдал чего не скажешь, например, о Scala ☠️ Python своей "тормознутостью" отчасти обязан некогда архитектурному решению под названием GIL. Многие слышали эту аббревиатуру, но не все знают причину по которой появился GIL и как он работает под капотом. Если вам это интересно, то держите отличный доклад на русском языке: Зачем нужен GIL и как от него избавиться? от Евгения Афанасьева.В Python версии 3.13, релиз которой будет уже в октябре, добавили опциональную возможность отключить GIL 😲, нюансы описаны в PEP-703. …

Специализация по Data Engineering на Coursera29 августа 2024 года на учебной платформе Coursera стартует специализация по дата инжинирингу от DeepLearning.AI — DeepLearning.AI Data Engineering Professional Certificate. Инструктором на курсах будет Joe Reis, известный в узких кругах как автор книги Fundamentals of Data Engineering, издательство O'Reilly.Обучение рассчитано на 3 месяца, целевая аудитория Intermediate-level специалисты. В специализацию входит 4 курса:— Introduction to Data Engineering— Source Systems, Data Ingestion, and Pipeline— Data Storage and Queries— Data Modeling, Transformation, and ServingОбучение платное как и большинство специализаций на Coursera, но есть возможност…

Get or Create средствами базы данныхУ Haki Benita в блоге нашел статью про реализацию функции get_or_create средствами PostgreSQL — How to Get or Create in PostgreSQL: and why it is so easy to get wrongОтличная статья, мне нравится, что автор использует пошаговый подход и объясняет на каждом этапе какую проблему решает. На первый взгляд может показаться, что нет никаких проблем реализовать Get or Create, но дьявол в мелочах. Рекомендую к прочтению, есть вероятность такой вопрос встретить в будущем на собеседованиях.

В маленьких компаниях (командах) все просто, если что-то сломалось - взяли и починили. Авось никто и не заметит.А вот в больших командах и организациях все по-другому. Как правило, аналитическое решение (хранилище данных) это не business critical и может не работать целый день, пользователи потерпят. Но если ломается часто, то уже нужно что-то с этим делать, и самая лучшая стратегия пофиксить все начать использовать процессы для работы с инцидентами, прям как на картинке. Обычно используют уже готовое решение от back-end/devops, такие как PagerDuty и другие, сразу появляется новая обязанность - on-call, нужно писать сообщение бизнес пользователям о поломках и обещать, что однажды все будет …

Как у вас получается бороться с tech debt?Замечательная статья - Paying down tech debt“What is tech debt?I define tech debt as any problem in the codebase that affects programmers by making it harder to make necessary changes. As a programmer, I wanted to fix such issues because they slowed me down. But as a manager, I had to ensure the team delivered value to stakeholders.”“Я определяю технический долг как любую проблему в кодовой базе, которая мешает программистам вносить необходимые изменения. Как программист, я хотел исправить такие проблемы, потому что они замедляли мою работу. Но будучи менеджером, я должен был убедиться, что команда приносит ценность заинтересованным сторонам.”

Реально работа с датами и часовыми поясами всегда боль. Кто как решает для себя эту проблему?

Amazon Hybrid work policy 😛

Точно интересное время☀️

В интересное время живем🔫🙌

Так это выглядит на практике. Осталось в Twitch стримить. Заодно практика английского.

В Surfalytics мы делаем типичные Data Engineering проекты нетипичным образом. Обычно цель любого end-to-end проекта — это использование стандартных настроек и минимальной конфигурации. Практически любой проект на Youtube это будет набор команд и шагов. Часто человек может даже не понимать как работает, но с покер фейсом нас учить, как делать Copy-Paste и строить решение. На выходе, у нас много pet проектов и 0 релевантного опыта и главное вообще не понятно как это применять в реальных условиях.Сегодня Максим проводил проект по созданию end-to-end решения для работы с API (job posting сайт) с использованием стека AWS, включая такие сервисы, как Lambda, Step Functions, Redshift и другие. Но в…

Иногда кажется чем больше rejection rate, тем лучше для HR и они наверно еще бонусы получают и хвастаются у кого больше rejection и что вообще можно все автоматизировать и оно само будет делать screening и rejection.Позабыты хлопоты, остановлен бег, Вкалывают роботы, а не человек! До чего дошел прогресс! Было времени в обрез, А теперь гуляй по свету - хочешь, с песней, хочешь, без!

Сегодня разбирали архитектуру большой американской компании, которая собирает данные клиентов с мобильных телефонов. Решение на AWS, куча Kinesis стримов, которые пишут в S3 (json), дальше lambda их обрабатывает и пишет в другой S3. Есть еще DynamoDB с клиентской информации, которая делает ежедневные snapshots в S3. В конце с помощью Athena таблицы и запросы.Компания продает обезличенные данные на млн долларов для других компаний. И товарищ непосредственно занимается интеграцией и выгрузкой данных для сторонних компаний.Выгрузка происходит раз в час, когда Glue Python Shell запускает запросы Athena и делает unload в S3. С помощью вспомогательных запросов отслеживается качество данных и резу…

Вебинар: ➡️Мигрируем аналитическую отчетность с SAP BW на импортонезависимый стек. Показываем вживуюНа вебинаре команда Sapiens solutions поделится техническими деталями реализации проектов миграции.📅Дата вебинара: 01.10.2024⌚️Время начала: 11:00 МскРегистрация обязательна ❗️Ключевые моменты вебинара:1️⃣ Загрузка данных из SAP ERP с помощью OData в Greenplum2️⃣ Фреймворк управления загрузками и расчетами Proplum3️⃣ Внедрение современного хранилища данных.4️⃣ Демонстрация процесса доставки данных - от создания документа в ERP до отображения в отчете5️⃣ Apache Superset как фронт BI: соответствие объектов SAP BW/BO и Superset, разработанный функционал форкаВебинар будет полезен, даже если вы н…

Какие технологии видятся мне перспективными из тех, с которыми я не работал или работал немного? У меня есть общее представление, но я глубоко не погружался, и надеюсь найдется время, чтобы исправить это.- Apache Arrow- Apache Iceberg ( я работал уже с готовыми решениями, но не строил с 0)- DuckDB- Polars- Rust/Golang языки программирования для задач дата инжиниринга- Ray (spark)- Protobuf (использую по факту, обычно в связки с event и streams)- Apache XTable Из старого но важного:- Kubernetes- Apache Kafka- Apache Flink- Fast APIУ меня список своеобразный конечно. Что еще есть интересного?

True Tech ChampВсероссийский чемпионат по алгоритмическому и робототехническому программированию от МТС.Регистрация: до 12 октябряДоступ к онлайн-заданиям: с 1 октябряФинал в офлайне: 8 ноябряРегистрируйся на алгоритмический трек и решай задачи в классическом олимпиадном формате. Участникам в ходе отборочных испытаний предстоит решить алгоритмические задачи онлайн и посоревноваться в индивидуальном зачете. 150 участников с лучшим рейтингом будут приглашены на очный шоу-финал чемпионата. Призовой фонд трека — 2 750 000 руб.Смотри подробности и регистрируйся на сайте.

Тут возможно самый полный сборник всего, что есть по DE или около того. https://github.com/DataExpert-io/data-engineer-handbookЗабавно получается, чем больше материалов, ссылок, книг, курсов в одно месте, тем сложнее в этом разобраться. 🙌

Данные были ошибкойКак-то раз мы обсуждали статью Бенна Стенсила, где тот спрашивал, нужна ли на самом деле аналитика. Сегодня пойдем дальше и спросим, а нужны ли нам данные в том виде, в котором мы собираем и используем их сейчас?Источник вдохновения для поста: статья What If Data Is a Bad Idea? Ниже — краткий пересказ основных идей, но рекомендуем прочитать материал целиком, он того стоит.🔜 Речь не о обо всех данных, а о персональных, которые собирают о пользователях сайты, соцсети и приложения.Проблема в том, что эти данные лежат где-то на недоступных частных серверах корпораций. Такой подход к сбору и хранению информации не делает разницы между данными о погоде и данными о живых, думающ…

Советы по SQL: полезные фичи и рекомендацииНашли классный документ на гитхабе с лайфхаками по SQL, как сделать код читабельнее и избежать частых ошибок. Советы подойдут не всем (уже предчувствуем, что многим не понравится первый пункт в блоке «Formatting/readability»), но ознакомиться стоит.Еще немного рекомендаций (и обсуждений злосчастной запятой из первого пункта) можно найти в треде на Hacker News.Сохраняйте пост себе, пересылайте знакомым — пригодится! 🔥

Один датасет, двадцать визуализацийДанные о динамике изменения возраста выхода на пенсию для мужчин и женщин из стран ОЭСР за 50 лет — звучит не очень интересно, правда? Еще и сложно: пока дочитаешь до конца предложения, забудешь с чего оно начиналось.Зато на основе этого набора данных специалистка по датавизу из Польши нарисовала аж 20 разных графиков: столбчатые, линейные разных видов, тепловые карты, даже нелюбимые многими «ящики с усами» затесались.Не все из них одинаково полезны — есть ощущение, что не все способы визуализации одинаково хорошо подходят для этого датасета. В любом случае, работа впечатляет. 🔥А у вас есть нелюбимый вид графиков, которые не используете и не понимаете?

Секреты мастерства 👌🏻

2 дня до конца исследования онлайн-школ по аналитике! Напоминаем: команда LEFT JOIN проводит независимое исследование онлайн-курсов по аналитике. Мы хотим выяснить, какие из них самые популярные и полезные, а заодно — узнать, как люди относятся к такому формату…

5 причин, почему ваши данные не приносят пользу бизнесу, и что с этим делатьВот у нас некий бизнес → Вот есть данные об этом бизнесе — продажи, расходы, доходы и так далее → Вот есть таблицы, где эти данные хранятся, и графики, которые их наглядно визуализируют.🔜 Но чего-то не хватает. Что же это может быть?..Ах, да. Польза и те самые ценные инсайты, которые обещают извлечь из данных аналитики. Работы по сбору и обработке данных много, а вот выгоды не очень — почему это происходит?Читайте в новой статье на VC → https://vc.ru/services/1488821-5-prichin-pochemu-vashi-dannye-ne-prinosyat-polzu-biznesu-i-chto-s-etim-delatЭто случается достаточно часто, и обычно к такой ситуации приводят 5 основ…

Как подружить разрозненные данные с помощью сквозного идентификатораПочти каждый бизнес собирает данные о клиентах из множества разных источников. Что-то отправляют они сами, что-то — заносят менеджеры. И это неизбежно приводит к хаосу: просто поразительно, сколько существует разных способов записать один и тот де номер телефона. 👀🔜 Это мешает корректно отследить путь клиента и посчитать важные метрики — например, стоимость привлечения лида и прибыль, которую он в итоге принес.Мы в своей практике тоже с таким сталкивались, и в новой статье рассказываем, как решить эту проблему с помощью сквозного идентификатора. Это уникальный номер, который присваивается клиенту, и помогает объединить все …

2 дня до конца исследования онлайн-школ по аналитике!Напоминаем: команда LEFT JOIN проводит независимое исследование онлайн-курсов по аналитике. Мы хотим выяснить, какие из них самые популярные и полезные, а заодно — узнать, как люди относятся к такому формату обучения в целом.💙 Мы уже собрали 360 голосов, и это крутой результат. Спасибо всем, кто принял участие! Если вы еще не успели это сделать, но очень хотите, у вас есть время. Сбор голосов заканчивается 19 сентября.🔜 Пройти опросВсем участникам выдаем в награду список классных бесплатных материалов для аналитиков и всех, кто интересуется ИИ, SQL и работой с данными.Так что спешите проголосовать сами и рассказать друзьям, если еще не сд…

Дизайнеры отнимают работу у нейросетей!Летом мы писали про то, как российские сервисы начали внедрять в работу ML и нейросети. Маркетплейсы с помощью ИИ решили упростить заполнение карточек — то есть подготовку текстов и обработку картинок. Тогда нас особенно впечатлили видеообложки от Ozon, и мы даже предложили дизайнеру сделать свой вариант.И вот он готов, и ждем вашего вердикта. 👆🏻Кто победил в этом соревновании: человек или робот? Ставьте ❤️, если человек, и 👾, если робот!

Почему аналитика оффлайн-обучения — это боль: рассказывает преподаватель из ВШЭЧетвертый сезон Data Heroes заканчивается интервью с Евгением Соколовым.Он больше 10 лет в Data Science, работал в Яндексе, а сейчас руководит департаментом больших данных и информационного поиска факультета компьютерных наук ВШЭ. Вот этому всему и посвящен выпуск!🔵 Как изменился Data Science за эти годы?🔵 Как Евгений решился из бизнеса уйти в преподавание, и за что он любит эту работу?🔵Как в Вышке поддерживают актуальность учебных программ и делают их интересными для студентов?🔵 Отличия между обучением онлайн и оффлайн с точки зрения преподавателя — какой интереснее формат интереснее? А как их анализировать, и к…

В пятом выпуске «Завтра в Data» у микрофона Александр Бараков — Head of BI в Luxoft и автор телеграм-канала Data Nature.О чем мы поговорили?🔵От архитектора до BI: путь, который не нужно повторять.🔵Рабочее комбо в образовании человека, работающего с данными.🔵Бег по кругу и рутина — единственное, что смущает в сфере?🔜 Подробности — в канале Карьера в Data | LEFT JOIN.

Обзор аналогов MiroА вот и обещанная подборка аналогов ушедшего, но не совсем Miro.Чтобы пост получился максимально беспристрастным, мы решили отказаться от субъективных оценок «нравится — не нравится», «удобно — не удобно». Вместо этого оценивали инструменты по нескольким главным признакам.🔵 Цена.🔵 Функционал. Сравнивали основные возможности (фигуры, схемы, таблицы, стикеры, майндмэпы, рисунки), потому что к богатству функций и интеграций неповторимого оригинала пока никто не приблизился.🔵 Возможность импорта доски из Miro.Подробности на карточках, а итог такой:🔵 У большинства аналогов есть бесплатная версия, в которой можно сделать три доски и пригласить ограниченное число участников.🔵 Фу…

Да, это тетрис на SQLПро GPT на SQL мы уже как-то рассказывали, а теперь вот нашли тетрис. Для запуска нужен Postgres — чтобы обойти некоторые ограничения языка, автор воспользовался возможностями именно этой СУБД.Скачать игру можно на гитхабе автора и там же почитать, с какими проблемами он столкнулся во время работы над проектом и как искал решения. Материал впечатляющий, как и результат работы. Единственный минус в том, что автор почему-то не назвал свой проект TetriSQL. А какие впечатляющие проекты на SQL попадались вам? 👀

В России пройдет международная олимпиада по ИИ и анализу данных AIDAOСпрогнозировать положение спутников, рассчитать время ожидания заказа для водителя такси и предсказать, как изменения в структуре материала повлияют на его свойства — что общего у этих трех вещей? 🔜 А то, что это все — примеры задач, которые будут решать участники AIDAO (Artificial intelligence and data analysis olympiad), студенческой олимпиады по ИИ, которую проводят Яндекс Образование и НИУ ВШЭ. Кроме возможности поработать над интересными кейсами, обещают знакомство с экспертами по искусственному интеллекту, экскурсии по офису Яндекса и денежные призы для победителей.Если вдруг заинтересовались, учтите: чтобы принять у…

Онлайн-курсы для аналитиков: за, против, свой вариант?А мы продолжаем исследование рынка онлайн-образования в сфере аналитики и приглашаем вас принять участие. Если еще не сделали этого — ждем ваших голосов по этой ссылке!Результаты первого исследования от 2021 года можно увидеть здесь.Зачем мы это затеяли?Онлайн-курсы обещают помочь сменить профессию, подтянуть знания и построить карьеру. Мы хотим выяснить:🔵 Действительно ли курсы помогают достичь этих целей?🔵 Какие школы наиболее популярны, и больше всего нравятся студентам?🔵 Видят люди ценность в онлайн-образовании?Важные примечания1️⃣ Нам важно узнать отношение к онлайн-образованию как явлению и собрать все мнения: положительные, отрица…

Работа с датой и временем в SQLiteВ sqlite есть встроенные функции для работы с датами, но они мне всегда не слишком нравились.Поэтому разработал расширение sqlean-time. Оно поддерживает точность вплоть до наносекунд и предоставляет удобное структурированное API с большим количеством функций.https://antonz.org/sqlean-time

Современный SQLite: Вычисляемые столбцыВычисляемые (generated) столбцы рассчитываются на основании других столбцов той же таблицы. Например, мы можем рассчитать процент отказов на основе количества запросов:create table stats ( date text, n_total int, n_failed int, fail_perc as (n_failed*100.0 / n_total));Другой распространенный сценарий — вытащить поле JSON-документа в отдельный столбец, и при необходимости проиндексировать его:create table events ( id integer primary key, event blob, etime text as (event ->> 'time'), etype text as (event ->> 'type'));create index events_time on events(etime);insert into events(event) values('{"time": "2024-05-01", "type": "credit"}'),('{"time": "2024-05-0…

Современный SQLite #1: STRICT-таблицыЯ начинаю марафон! Но не марафон желаний 😅 Буду вкратце рассказывать о полезных функциях современной SQLite, про которые вы (возможно) не слышали.Начнем со «строгих» таблиц.Как вы наверняка знаете, SQLite обладает гибкой системой типов (за что некоторые даже называют ее «джаваскриптом в мире СУБД»). Вы можете хранить любые значения в столбцах любых типов: например, строки в INTEGER-столбце или бинарные данные в REAL-столбце.Кто-то любит SQLite за эту гибкость, другие ненавидят за нее же. Поэтому в какой-то момент авторы SQLite добавили «строгие» (STRICT) таблицы:create table people ( id integer primary key, name text, salary real) strict;Они проверяют ти…

SQL-полиглотСделал онлайн-утилиту, которая выполняет заданный запрос на любой СУБД от PostgreSQL до DuckDB (SQLite тоже есть, конечно).Удобно, чтобы быстро понять, поддерживает ли база тот или иной SQL-синтаксис.https://codapi.org/sql

Яндекс интегрировал VLM в Нейро, значительно улучшив возможности поиска и анализа изображений. На Хабре рассказали, как команда усовершенствовала существующие технологии и создала новый инструмент, делающий работу с визуальным контентом более эффективной.VLM представляет собой следующий этап в развитии моделей компьютерного зрения. Она не только распознает объекты на картинках, но и отвечает на сложные вопросы о деталях изображений.Архитектура VLM объединяет LLM, картиночный энкодер и адаптер. Новый пайплайн с VLM-рефразером и VLM-captioner расширил спектр решаемых задач.В статье подробно описан процесс обучения VLM и проведено сравнение с предыдущим LLM-пайплайном. Разработчики отмечают, ч…

Алгоритмы поиска дубликатовРебята из HF Labs выложили отличную статью на Хабре о поиске дубликатов в клиентском MDM. Задача поиска дубликатов — суперкритична для обеспечения качества данных, дубли — потенциальный источник серьезных ошибок в аналитикеАвторы статьи рассказывают о том, как для эффективного поиска дубликатов важно правильно определить подход к обработке данных. Они выделяют несколько ключевых этапов:1️⃣ Чистка и нормализация данных2️⃣ Хеширование для быстрого поиска3️⃣ Применение компараторов и правил4️⃣ Обновление данных в режиме реального времениВсё это со своей спецификой про банковскую сферу, но перекладываемо на любые задачи поиска дубликатов (в том числе нечетких)Глубинно…

«Я в режиме реального времени поясняла структуру запросов / ответов в Postman и разбирала документацию в Swagger», — пишет аналитик, который прошел наш курс, а потом два технических собеседования в международные компании. Приятно, конечно ❤️Если в 2024 году вы хотите:— научиться выбирать стиль интеграции под вашу задачу;— начать проектировать с нуля и описывать интеграции в современных стилях (API: REST, SOAP, gRPC и других, + брокеры сообщений);— узнать как правильно собирать требования и моделировать в UML;— подготовиться к собеседованию, решив более 100 заданий;— запустить свой API на Python.Значит наш курс для вас! 🚀 Начните с открытых бесплатных уроков — переходите в бот курса и жмите …

Бесплатный мини-курс по технологии ускорения ML-моделей — TritonВ Ozon Tech 100+ дата-сайентистов. Каждый день они решают задачи поиска и диалоговых систем, чат-ботов и матчинга, анализа спроса и рекомендаций. И много-много других! Для этого наши специалисты используют огромное количество технологий. Одна из них — Triton.Курс — это гайд в формате лонгрида, из которого вы узнаете: — что такое Triton и как в нём происходит типизация данных;— как собрать простую модель под любые нужды;— как оптимизировать модель и дотащить до прода. Чтобы пройти курс, нужно: 1) отправить заявку на этой странице;2) иметь 2 часа свободного времени.А после прохождения вы получите приглашение в закрытый чат с DS-э…

У Ромы Бунина вышло клёвое видео про дашборды и их жизненных цикл. У дашбордов целом жизнь короткая и Рома в видео рассказывает как продлить их существование, в том числе с помощью ИИКлючевой момент в том, что чем больше пользователей у дашборда, тем дольше он живет (капитанский вывод, но всё же это заставляет нас задумать о том как поддерживать постоянную используемость наших дашбордов)Как продлить жизнь дашборда? Три слова: процессы, процессы и еще раз процессы! 🔄Как в этом плане уже сейчас может помочь ИИ? Эта помощь в том, что через чат-ботов с LLM можно:➡️Искать нужные дашборды➡️Отвечать на вопросы по данным➡️Писать документацию➡️Описывать изменения в дашбордах (change-logs)➡️Помогать …

Я знаю, сколько времени может уйти на поиск нужной информации в Telegram, поэтому регулярно делюсь полезными ссылками. Сегодня подготовили для вас целую подборку каналов в сфере “IT и Технологий” 🔥Тут вы точно найдете ответы на многие свои вопросы. А главное - вам не придется, тратить на поиски информации несколько часов 😊 👇Поэтому переходите, подписывайтесь и пользуйтесь на здоровье 📂😉 Хотите подборку?

🚀Новый конструктор отчётов! Теперь можно собирать многостраничные документы нужного формата (размер, ориентация) для pixel-perfect экспорта в pdf или печати. Удобно для регулярных встреч с командой или отправки клиентам.Ключевое:- Функциональность доступна только в Business тарифе.- Отчёт – это ещё один тип объекта внутри воркбука.- Отчёт состоит из страниц, на каждую из которых можно добавлять чарты, картинки, текст.- Можно работать со слоями.- Можно копировать виджеты с дашбордов. Это удобно, если нужно быстро собрать печатную версию дашборда. Что в планах:- Конвертация дашбордов в многостраничные отчёты.- Поддержка селекторов (глобальных на весь документ, на группу, на отдельные страницы…

Сбер ищет в команду Аналитика-исследователя, который будет выстраивать анализ продуктов и оценивать эффекты и взаимосвязи Центра индустрии с экосистемой Сбера 🔗В ваши задачи будет входить взаимодействие с блоками и функциональными подразделениями, сбор данных и проведение аналитических исследований.✅Мы предлагаем: премии и ежегодный пересмотр зарплаты, расширенный ДМС с первого дня, ипотеку выгоднее до 4% для каждого сотрудника, а еще корпоративное обучение в Виртуальной школе Сбера и бесплатную подписку СберПрайм+.Подробнее о вакансии по ссылке

Прочитал отличный совет Тани Мисютиной у Горбунова про важность выделения минимальной частицы данныхМне нравится та элегантность, которая лежит в основе подходов к архитектуре данных — каждый элемент находится на своем месте, образуя целостную и функциональную структуру. Есть в этом своего рода архитектурная красотаТаня в своём посте пишет о том, что для эффективного анализа данных важно правильно определить «частицу данных» — единицу смысла в конкретной задаче аналитика. Эта частица выступает связующим звеном между различными сущностями в описываемой реальности. Важный момент — даже если исходный датасет не содержит данные на уровне выбранной частицы, понимание этой единицы смысла помогает…

ПСБ приглашает системных аналитиков на Weekend Оffer 19-20 октября 2024, который пройдет в онлайн-формате➡️ Регистрация открыта до 9 октябряХочешь построить карьеру в финансовой сфере и решать сложные задачи по разработке приложений в одном из крупнейших банков страны? Тогда Weekend Offer от ПСБ — то, что тебе нужно!Не упусти уникальную возможность пройти все этапы отбора и получить предложение о работе за выходные.Приглашаем кандидатов на позицию системного аналитика, а также всех специалистов, стремящихся перейти в эту профессию.Почему тебе будет интересно в ИТ-команде ПСБ:▪️ удаленный формат работы▪️ только собственные решения банка▪️ подходы Agile/Waterfall▪️ продвинутый стек технологий…

👍dbt - это один из ключевых инструментов современной аналитики и modern data stack. Изучите один из самых востребованных инструментов аналитики, решая сложные практические задачи в нашем тренажере, научитесь DataOps практикам, постройте хранилище данных на базе dbt, подготовьте и проанализируйте данныеВ тренажере вы освоите:1. Типы хранилищ данных DWH и их построение2. Подготовку и тестирование данных, Data Quality3. Построение ELT-pipelines4. Моделирование данных на базе dbt и PostgreSQL5. Принципы работы с СУБД на базе Postgres6. Продвинутую аналитику и визуализацию данных7. Современные DataOps-практики, оптимизацию производительности и многое другоеРазработаете свои pet-проекты:🔥 Статист…

Яндекс переработал и улучшил существующие функции для работы с текстом на базе YandexGPT в Яндекс Браузере, что привело к созданию отдельного инструмента. На Хабре рассказали, как можно дотюнить готовые фичи и сделать что-то новое, что сделает работу пользователей ещё более комфортной.Инструмент включает возможность создания и редактирования текста. Обычно такие функции требовали сторонних приложений, но теперь они встроены прямо в браузер.Для оценки работы модели Яндекс использовал диффалку на Go, которая находит наидлиннейшие общие подпоследовательности (LCS). Это позволило эффективно анализировать разницу между версиями текста и ускорить проверку изменений. Переход на архитектуру Encoder…

Карьерный код Data-инженера: ошибки и лайфхаки23 сентября приглашаем вас на бесплатный вебинар от Слёрма! Встретимся с опытным специалистом и карьерным консультантом в сфере IT, чтобы обсудить: 👉 Как становятся дата-инженерами?👉 Как правильно показывать свой опыт и потенциал, чтобы получить оффер?👉 Hard и Soft скиллы — что реально важно на собеседованиях?👉 Что делать, если вы практикующий специалист, но развития не хватает?Николай поделится секретами успеха и ошибками, которых вы сможете избежать. А Екатерина расскажет, как не сбиться с пути и выстроить эффективный карьерный трек.➡️ 23 сентября, 20:00 мск ➡️ Занять место на вебинар – по ссылке.До встречи!Реклама ООО «Слёрм» ИНН 3652901451

True Tech ChampВсероссийский чемпионат по алгоритмическому и робототехническому программированию от МТС.Регистрация: до 12 октябряДоступ к онлайн-заданиям: с 1 октябряФинал в офлайне: 8 ноябряРегистрируйся на алгоритмический трек и решай задачи в классическом олимпиадном формате. Участникам в ходе отборочных испытаний предстоит решить алгоритмические задачи онлайн и посоревноваться в индивидуальном зачете. 150 участников с лучшим рейтингом будут приглашены на очный шоу-финал чемпионата. Призовой фонд трека — 2 750 000 руб.Смотри подробности и регистрируйся на сайте.

Как искусственный интеллект меняет правила игры в бизнесе?Приглашаем тебя на митап по Data Science от экспертов Газпромбанк.Тех, где ты узнаешь:– Как мы используем нейронные сети для разбора платежных документов– Каким образом оптимизатор позволяет максимизировать прибыль от маркетинговых коммуникаций– Какие задачи решают квантовые технологии в мире финансовВ конце тебя ждет нетворкинг с участниками и спикерами митапа.Регистрируйся и приходи 19 сентября к нам в гости: Москва, ул. Коровий Вал д.5, БЦ «Оазис» — https://vk.cc/cAHhhbРеклама, Банк ГПБ (АО), ИНН: 7744001497, erid: 2Vtzquu9yXD

https://prestodb.io/blog/2024/09/26/query-optimization-with-historical-based-optimization-framework-in-presto/Ну и далеко чтобы далеко не ходить, вот еще больше деталей про HBO (Historical-Based Optimization) в Мете, на том же Presto. Чтиво по ссылке выше, а вот видео со скриншотов (и весь плейлист с одного из митапов Presto) - вот тут https://www.youtube.com/watch?v=C1LVg7VOWwg&list=PLJVeO1NMmyqUO07nUAbu7RyG1AM36iCGS&index=10@ohmydataengineer - канал "🕯Труба Данных" решающий теорему Эскобара для Trino и Presto

https://www.uber.com/en-DE/blog/preon/Как Uber написал свой анализатор запросов (оптимизатор, улучшатор) для PrestoВ общем, классика - стандартные инструменты не справлялись с нагрузкой / задачами / итд, поэтому мы написали свою - Preon. Потому что нужно и потому что можем.Но под капотом там интересные штуки, например, если они понимают, что запрос один и тот же, то зачем его исполнять, если у тебя есть TTL в 24 часа и этот запрос закеширован? 😃@ohmydataengineer - канал "🕯Труба Данных" рассказывает про проблемы 1% компаний.

https://juhache.substack.com/p/rip-iceberg-catalogsЛожка дегтя о модном Iceberg Если вы собираетесь пересаживаться на Iceberg формат табличке (модная сейчас тема), полезно знать и возможные проблемки, с которыми вы столкнетесь и пути их решения. Небольшая статья с картинками. Пригодится в споре с закисшими архитекторами.@ohmydataengineer - канал "🕯Труба Данных" разрушает фантазии о модных технологиях.

https://www.timescale.com/blog/scaling-postgresql-to-petabyte-scaleОжидал побольше мяготки и деталей от самих TimeScale, но внутри без графиков, к сожалению. Что очень странно, ведь ребята в прямом смысле делали dogfooding.Однако в целом очень жирное заявление: 1 (!!) инстанс, 800 миллиардов метрик в день. Ничего себе так разогнали Postgres ⬆️@ohmydataengineer - канал "🕯Труба Данных" про то, как не сходить с ума от очень большой даты.

https://craftingdataproducts.substack.com/p/the-data-death-cycleО том, как помирают дата проекты.В основе статьи лежит довольно простой, но обухом бьющий по голове, список ошибок:- The Tech Trap: когда мы задаем вопрос "Какую проблему может решить эта технология?" вместо поиска проблемы и затем двигаться к технологии- The Doing Trap: когда мы сразу как лего-ниндзяга прыгаем кодить решение, когда на деле нужно было посидеть и сделать дизайн / планирование. Так как кодинг - знакомая нам территория.- The Project Trap: когда мы запланировали "проект" и совершенно не следим за тем, что окружение и задачи могли смениться и нам тоже нужно меняться. Но нет, мы будем дальше долбить спринты на то, чт…

Пришло время обновлять Airbyte!https://www.youtube.com/watch?v=cy6S14zv4qoЕще один крупный инструмент на рынке перемещения данных туда-сюда Airbyte получил свою первую мажорную версию 1.0! По ссылке выше - видео-трансляция дня релиза, а все новые фичи описаны тут https://airbyte.com/v1Штук много всяких интересных привезли, но самое интересное для меня - https://airbyte.com/blog/supporting-very-large-cdc-syncs-with-wass Large CDC with WASS и чекпоинты - https://airbyte.com/blog/checkpointing@ohmydataengineer - канал "🕯Труба Данных" который продолжает обновлять инструменты!

https://archive.apache.org/dist/spark/spark-4.0.0-preview2/А я помню времена, когда мы всем селом переезжали с Spark 2 на Spark 3, а оно вон как уже - Spark 4 на подходе!Все новые фичи:- видос от Databricks https://www.youtube.com/watch?v=WwVE_be2JuA- их же слайды (много слайдов) https://drive.google.com/viewerng/viewer?url=https://microsites.databricks.com/sites/default/files/dais/2024/D242404B_2024.06.17.What%25E2%2580%2599s%2520Next%2520for%2520the%2520Upcoming%2520Apache%2520Spark%25204.0_1718511032810001JGNS.pdf@ohmydataengineer - канал "🕯Труба Данных" про ток, как мигрировать данные!

"ТУТ ДАННЫЕ НЕПРАВИЛЬНЫЕ!"@ohmydataengineer - канал "🕯Труба Данных" про работу с данными

https://clickhouse.com/blog/clickhouse-release-24-08И в продолжении темы Clickhouse, последний релиз принес прям очень хорошую фичу - JSON as native type.По ссылке - релиз-ноуты с примерами@ohmydataengineer - канал "🕯Труба Данных" про работу с данными

https://vutr.substack.com/p/how-clickhouse-built-their-internalОдна из технологий, с которой я очень люблю работать - Clickhouse. О том, как сам Clickhouse строит у себя DWH - по ссылке в статье.Все очень просто: CH, S3, Airflow, Superset и никаких дата волтов.@ohmydataengineer - канал "🕯Труба Данных" про работу с данными

true story...@ohmydataengineer

https://xuanwo.io/2024/07-rewrite-bigdata-in-rustТред "Rust все заменит в DE" продолжает существовать и если ну уж очень интересно, вот небольшая подборка DE-related тулзов и библиотек, написанных на Rust.Из самого интересного это Apache DataFusion и daft@ohmydataengineer

Почему это такая правда?@ohmydataengineer

А давайте мы дата инженеров в каждую команду сделаем!@ohmydataengineer

Data Apps Design pinned «Блог переехал 🌐 @data_apps»

Блог переехал 🌐 @data_apps

Channel name was changed to «Data Apps Design»

Channel name was changed to «data_apps»

✅ Как выбрать СУБД для аналитики? Мой список критериев для выбора Analytics Database🔵Performance and Scalability— Работа в периоды пиковых нагрузок (одновременные запросы от EL + dbt + BI + analysts)— Поддержка масштабируемости и scaling— Насколько адекватно время ответа на запросы (от простых select * from table limit 10 до сложных дашбордов)🔵Feature support— Поддержка semi-structured data (nested JSONs, MongoDB, event tracking)— Geospatial: GEO-joins (ST_Intersects), H3 library for geo-indexing— Адекватная поддержка Window functions (+ Qualify)— Простое создание окружений (Zero copy clone - DEV, TEST sandboxes)— Time travel, restore deleted data (UNDROP)🔵Security— PRIVILEGES management (r…

Как выбрать СУБД для аналитики?Привет! Предположим, что у вас есть:🟢 Целостное понимание потребностей бизнесаВключая требования к производительности, времени отклика, безопасности данных, перечень ключевых метрик (показателей) и формулы их расчета, и т.д.🟢 Возможность предлагать и оценивать альтернативные СУБД для решения задач бизнесаОбъективно, в заданных условиях, некоторые СУБД способны справляться значительно лучше других. Иначе говоря, имеют конкурентные преимущества.К сожалению, во многих случаях решение о том, какую СУБД использовать уже принято и не подлежит пересмотру: кем-то когда-то давно до вас по принципу "я работал с этим 5 лет назад", "у нас с ними партнерские отношения", "в…

👑 Особенности работы с External Data (на примере обменных курсов валют)⬜️Бизнес-задача:— Операции с контрагентами совершаются в около 15 разных валют— Есть необходимость пересчета финансовых показателей в разные валюты для отчетности— Обменные курсы актуальны на каждую отдельную дату (курс меняется)⬜️ Реализация:— Используется поставщик данных и его API (для примера это Open Exchange Rates)— Ежедневно несколько раз в течение дня (раз в 3 часа) делаются запросы на получение обменных курсов к каждой из 15 валют (Airflow)— Ответы в виде JSON сохраняются AS IS в S3 / Object storage— Эти файлы читаются на стороне DWH и формируется витрина обменных курсов (пар) в разрезе базовой валюты и даты⬜️ К…

Business Intelligence 101: Всё самое важное о BI инструментах🔸 Ключевые идеи BI— BI - это набор методов и инструментов для бизнес-анализа— BI упрощает доступ к данным в DWH— BI бесполезен без DWH (без данных бесполезны визуализации)— SQL по-прежнему актуален🔸 Основные возможности (features) BI— Семантическая модель: сущности, связи, формулы расчета метрик и правила агрегации— Визуальный конструктор запросов— Формирование информационных панелей (dashboards)— Публикация (sharing), рассылки, уведомления и алерты🔸 Варианты развертывания— SaaS / Managed app (Datalens)— Self-hosted (Metabase)— Hybrid (Superset / Preset)🔸 Администрирование— Production checklist (отказоустойчивость, надежность, мас…

🤯 Нерелевантные, демотивирующие и бессмысленные задачи🔻 Излишне затянувшееся общение с вендорами и провайдерами сервисовКак инженер - я должен сравнить, протестировать и выбрать самое релевантное решение в заданных условиях. Я даю заключение, какой сервис, с какими квотами и услугами необходим для решения задач.Дальнейшие шаги - переговоры, бумажные (электронные) процессы, согласования, подписания, оплаты, инвойсинг, юридические проверки и т.д. - это не относится к инженерной работе, этим должны заниматься все, кроме инженера.🔻 Взаимодействие с пользователями, которым леньКоманда аналитики делает всё, чтобы пользователям было просто и удобно находить ответы на свои вопросы:— Self-service BI…

😵‍💫 Нерелевантные, демотивирующие и бессмысленные задачиДавайте поговорим про раздражающие и отвлекающие факторы в работе.Вчера у меня возникла ситуация:Amazon Redshift ночью автоматически обновился на свежий релиз, что привело к ошибкам в расчетах (dbt), и проблемам с отчетностью (Looker). Ряд самых важных дашбордов перестал работать (пусто, либо ERROR SQL Query). Бизнес-пользователи сообщают о проблемах и ждут исправления.Я потратил около 4-5 часов на поиск и локализацию проблемы, её исправление (rollback, upgrade, чуть не дошло до restore from backup) и проверки (что-то продолжаю делать и сейчас).В это время команда из 6 человек (Finance & Accounting) пишет письма с просьбой найти и высл…

🏆 Удержать стоимость SaaS ELT на уровне $13K / year вместо повышения цены в 2,35 раза В компании для интеграции данных я использую SaaS ELT решение от вендора Hevo Data. Еще в начале 2020 году я провел сравнительный анализ и proof of concept среди основных игроков на рынке в поисках подходящего решения.В финале оказались Hevo и Fivetran. Hevo победил по ряду критериев, в том числе по стоимости (total cost of ownership).Коротко, мой сетап:— 1 Destination connector (sync каждые 15 минут)— 10 Source connectors (самые важные: MongoDB, Postgres, Event stream)— 500M events / monthНачиная с 2020 года стоимость сервиса составляла $12K в год с платежами раз в квартал. На мой взгляд, это отличная сто…

🌟 Привет, друзья!С наступающим Новым Годом!Обещаю радовать вас и развиваться. В новом году я планирую:— Делать больше обзоров Data Tools и Инструментов, сравнивать их и делать выводы— Создавать новый обучающий и полезный для каждого контент— Активизироваться на YouTube с онлайн-стримами по интересным темам и короткими кастами— Систематизировать накопленные в канале знания, добавить навигацию и хэштеги— Писать review на новые (и не очень) книги, интернет-публикации и самые интересные Data-события— Запустить email-рассылкуЖелаю всем уютно отметить в кругу близких и друзей, помечтать как следует, и полными сил вступить в новое путешествие в наступающем году! 🥳До связи,Артемий🥳🥳🥳

Всем привет, мы собрали небольшую подборку каналов/групп, которые могут быть полезны интересующимся данными в Новом 2024 году и хотим поделиться с вами:• @datacoffee — Еженедельный подкаст о данных• @datavizcomics — Комиксы по датавизу, дата-арт и интересные визуализации• @dbt_users — DBT users group• @enthusiastech — Analytics Engineering + tips & tricks• @ohmydataengineer — Авторский канал обо всем, что происходит в мире работы с данными• @ruairflow — Русскоязычное сообщество Apache AirflowДобавить как папку в Telegram https://t.me/addlist/B5NbcluX5AJiMTFi

👀 Где взять динамический датасет для целей тестирования?Большая часть датасетов и sample databases являются статичными, т.е. представляют из себя снимок. Эти данные не меняются со временем.Мы привыкли изучать такие данные, проводить Exploratory Data Analysis, строить дашборды, обучать ML-модели. Удобно пользоваться Sample Tutorials от вендоров и тулов. Awesome Public Datasets, Kaggle, Metabase Sample Database, и даже AdventureWorks - это всё примеры статики.Но ряд задач можно изучать и решать только на динамическом датасете, т.е. тех данных, с которыми происходят мутации в режиме реального времени - INSERT, UPDATE, DELETE:— Online data replication (Change Data Capture)— Streaming tasks: Ana…

☄ Первый стрим для закрытой группы Designing Modern Data AppsУже сегодня 21 декабря в 19:00 — Marketing Analytics❗️ У меня осталось всего несколько местКак это будет выглядеть?— 10 стримов, 2 из них интерактивные Q&A— Живое общение и доступ к ответам на свои вопросы— Единая связная история-кейс (заказчик - требования - архитектура - реализация)— Формат интенсива - сразу к делу, минимум воды, максимум практикиКакие результаты я получу?— Опыт построения аналитических приложений на реальном бизнес-кейсе— Практика с инструментами Modern Data Stack— Записи стримов, слайды, git-репозитории остаются у вас— Возможность претендовать на вакансии с ЗП 300К+Востребованные навыки и практические знания -…

🥴 Reverse ETL — антипаттерн или норм?у меня тут недавно наконец-то сложилась картинка в голове! до этого краем уха слышал этот новый термин, но никак не мог переложить его на реальность. А потом увидел схемку где помимо стандартного направления источник → двхбыла дополнительная стрелочка:источник → двх → (обратно) источник в итоге понял, что видел уже два таких кейса и пока ощущения смешанные:1) считать бонусы определённому срезу сотрудников. был кейс когда ставка зависит от количества и статуса лидов например (или других штук, которые можно посчитать только в двх)2) сейчас есть задача передавать данные между микросервисами (разные команды): микросервис А производит данные, их сгружаем в ДВ…

😱 забанили в LinkedIn случилось страшное! дело было после мобилизации, когда я активно искал работу за бугром. каждый день я стабильно искал дата-вакансии и откликался сначала на интересные, а потом и просто на все более-менее подходящие. Из всех откликов…

🎙️сходил на подкаст обсудить кофе и дату↑ не было определённого плана, поэтому мы импровизировали; прошлись по основным этапам: предыдущие подходы к смене карьеры, приход в дата инжиниринг через курс по анализу данных, поэтапную смену компаний, поиск работы и переезд в Швецию, и как тут у нас живется при победившем дата-меше. в эпизоде упоминали:⌘ доклады Жени Ермакова и Коли Гребенщикова про чудо-DWH в Яндекс GO, благодаря которым я загорелся идеей попасть туда;⌘ на один из предыдущих эпизодов подкаста, где гостем был Игорь Мосягин — поскольку он был в команде дата-платформы, там было много сочных деталей типа админстрирования Редшифта на 2к пользователей и мотивацию к документации.

136 (S5E21). Будни дата-инженераВ гостях у подкаста 🎙"Data Coffee" Саша Михайлов, дата инженер ( Telegram⁠, LinkedIn⁠)Обсудили:• кофе• дата инженер• нужен ли CDO для data mesh• карьерный путь• переезд в Швецию• деанон по фитнес-трекеру• детские сады района• почему дата инженер• pet projects• как развиватьсяСайт: ⁠⁠⁠⁠⁠⁠⁠⁠https://datacoffee.link⁠⁠⁠⁠⁠⁠⁠⁠Telegram: ⁠⁠⁠⁠⁠⁠⁠⁠https://t.me/datacoffee⁠⁠⁠⁠⁠⁠⁠⁠Mastodon: ⁠⁠⁠⁠⁠⁠⁠⁠https://techhub.social/@datacoffee⁠⁠⁠⁠⁠⁠⁠⁠Чат подкаста: ⁠⁠⁠⁠⁠⁠⁠⁠https://t.me/datacoffee_chat⁠#datacoffee #data #podcast #данные #подкаст #кофе #coffee Где слушать🎧:— Бот-плеер— RSS feed — YouTube — Остальные площадки

💊 реал биг дата!у меня начинает складываться ощущение, что проблема big data плавно смещается; сначала все боялись этих терабайт данных: как же их хранить, как обрабатывать и искать в них инсайты.сейчас вроде как залить сколько-угодно данных в ваши сноуфлейки с датабриксами уже научились. если что, просто докинуть чуток компьюта — ведь если удалось накопить столько данных, то где-то рядом должен быть и бюджет на их перекладывание.теперь же встала другая проблема — среди этих десятков тысяч залитых и нагенерированных сущностей найти ту самую! × как посчитать активных юзеров за прошлый месяц?× как узнать сколько было возвратов?× как понять сколько бизнес заработал? (или потерял!)если спросить…

🛠️ Musk Engineering Algorithm читаю биографию Илона Маска, нахожу любопытным его подходИлона часто сравнивают со Стивом Джобсом: основатели культовых компаний, визионеры-провидцы, дотошные менеджеры, и оба в жизни что называется assholeв жизни Джобса был период, когда он управлял двумя компаниями одновременно: Apple и Pixar. Днём накручивал хвосты дизайнерам в Купертино, а после мчал на встречи с командой в Пиксаре. Есть версия, что именно этот период подкосил его здоровье, что в итоге способствовало развитию рака.не умалая достижений Джобса, Маск — это какой-то следующий уровень: управлять не двумя, а уже шестью семью компаниями одновременно. SpaceX, Tesla, Solar Roof, Neuralink, StarLink,…

🍎 Andy Pavlo & Amazon Redshiftа теперь к деталям: в Кларне — AWS, поэтому хранилище тут на Redshift. для знакомства с технологией посмотрел соответствующую серию из курса:https://youtu.be/T9-MM8oHzsM⌘⌘⌘в нулевых было несколько проектов по параллелизации Постгреса и к 2010 оставался только один, который не купили. В 2010 Амазон решила порядочно сэкономить: вместо покупки целого стартапа, они просто в него инвестировали. Это позволило ей получить лицензию на сам код.→ в 2013 выходит Redshift как продукт→ в 2016 запускается Athena — доступ через SQL к данным на S3 (типа как Hive, да?)→ в 2017 добавляется Spectrum — Redshift может напрямую читать данные с S3 без предварительного инджеста данных…

⚾ Andy Pavloменя покусал библиотекарь, поэтому перед тем как ввести новое действующее лицо, дам ссылку на общеизвестный факт. имя Andy Pavlo у меня прочно ассоциируется с базами данных: Andy = databases, databases = Andyу него есть открытый каталог всех баз данных, где уже есть ссылки на 998 (!) штукhttps://dbdb.io/ещё у него есть был стартап, который помогает тюнить клиентские базы данных с помощью мл: моделька на основе метаданных подкручивает настройки вашего постгреса в цикле с обратной связью. сами данные она не видит.https://ottertune.com/и, видимо, для души (и будущих клиентов и сотрудников), он ведёт курс по базам данных в университете CMUнесмотря на то, что курс офлайн в обычном ки…

🔍 Data Observabilityв Кларне наша команда отвечает за мониторинг монетизации партнёрского трафика. Данные получаем от affiliate networks (на русский вики предлагает перевод как «сеть партнёрских программ»). Сети передают данные по API (в основном).казалось бы, тривиальная задача — взять данные из АПИ и положить их в базу. В целом так! но есть ньюанс >_>когда команда начиналась, была одна сеть. Потом добавилась ещё пара. Через какое-то время клиенты начали просить добавить «ещё одну». Спустя несколько лет мы имеем 20+ сетей, к каждой свой коннектор и бегущие джобы.в плохой день, открыв утром чат с алертами, можно найти простыню из ошибок: несколько джобов ночью падало, сколько-то потом отпус…

🙅 no more* AI * вольный перефраз оригинального заголовка https://ludic.mataroa.blog/blog/i-will-fucking-piledrive-you-if-you-mention-ai-again/ коллега скинул отрезвляющую и фомо-утоляющую статейку (спасибо, Игорь!) ключевая мысль статьи — «вам не нужен…

🙅 no more* AI* вольный перефраз оригинального заголовкаhttps://ludic.mataroa.blog/blog/i-will-fucking-piledrive-you-if-you-mention-ai-again/коллега скинул отрезвляющую и фомо-утоляющую статейку (спасибо, Игорь!)ключевая мысль статьи — «вам не нужен AI только если вы не ресёрсч лаборатория» — звучит очень свежей посреди этого аи-хайпа вокруг⌘⌘⌘вашей компании не нужен AI! скорее всего в ваших продуктах уже достаточно аи: ваш антивирус сканирует файлы, фаерволл определеяет подозрительные по аномалиям (а почта исправно фильтрует спам)ведь по факту получается, что вы тащите в свой прод экспериментальную (!) технологию с недетерменированным выводом (!!), в которой у вас нет экспертизы (!!!) и вы …

👷 решения из реального мираодин из источников данных для нашей команды — внешние API. Каждый день мы запрашиваем новые данные и иногда пере-запрашиваем исторические.и вот внезапно в одном источнике упёрлись в лимит запросов. джоба падает с ошибкой, лаг в данных растёт, скоро начнутся вопросики от потребителей.собрались мы, значит, и стали думать как такого избегать.чисто по-инженерски тут же начали предлагать написать какую-нибудь лямбду, чтобы она каждый день ходила в апи и спрашивала сколько осталось до лимита. Ответ будем слать в датадог, где настроим алерты по порогам. Красота!… но лямдбу-то надо ещё написать, плюс она будет сама по себе отжирать из тех же лимитов на запросы. А потом вс…

😱 етл-таски в очереди по ~23 часав Яндекс Го была довольно стандартная (да ведь?) дата-архитектура: были дата-лейк на YT и DWH на Greenplum. Вначале все данные попадали в лейк, там как-то предобрабатывалось и потом можно было залить в GP для всяких там джойнов и прочих оптимальных доступов.Два наблюдения:- между YT и GP случались заторы — данные туда-сюда заливались немаленькие и задача перекладывания джейсонов между базами довольно нетривиальная- одного не самого инженера могло быть достаточно, чтобы сделать GP плохо ( :wave: ) — как-то ко мне пришёл наш ДБА и попросил засунуть в остановить свой запрос и немного его оптимизировать перед следующим запуском⌘⌘⌘Проблема, видимо, распространённ…

🍅 middle →→→ seniorhttps://seattledataguy.substack.com/p/how-to-grow-from-mid-level-to-seniory Seattle Data Guy гостевой пост про то с какой стороны подходить к прыжку от мидла к синьору. Резонирует с тем что я вижу вокруг и как представляю свой путь в сторону помидорства⌘⌘⌘в первую очередь от синьора ожидают, что он автономно решает проблемы — от предложения рабочего решения до его имплементации, включая переговоры (!) с нужными сторонами и развитие коллег✓ непрекращающееся развитие — всегда готов научиться чему-то новому и рассказать об интересном ✓ действительно крутые штуки делаются вместе, поэтому развитие команды — ключевая необходимость→ направления на подумать: вдумчивые и развивающ…

😱 забанили в LinkedInслучилось страшное! дело было после мобилизации, когда я активно искал работу за бугром.каждый день я стабильно искал дата-вакансии и откликался сначала на интересные, а потом и просто на все более-менее подходящие. Из всех откликов на мои холодные запросы так никто и не ответил — оно и понятно, в те месяцы у них кажется был особо большой наплыв соискателей.однажды, зайдя в линкедин, я увидел просьбу подтвердить свою личность. Прислав им в форму скан паспорта (О_о), они обещали ответить в ближайшее время. Спустя сколько-то дней пришло письмо, что «ваш аккаунт заблокирован по причине нарушений правил»от неожиданность я растерялся, но всё же попросил их уточнить что за пр…

Summary

This episode features an insightful conversation with Petr Janda, the CEO and founder of Synq. Petr shares his journey from being an engineer to founding Synq, emphasizing the importance of treating data systems with the same rigor as engineering systems. He discusses the challenges and solutions in data reliability, including the need for transparency and ownership in data systems. Synq's platform helps data teams manage incidents, understand data dependencies, and ensure data quality by providing insights and automation capabilities. Petr emphasizes the need for a holistic approach to data reliability, integrating data systems into broader business processes. He highlights the rol…

Summary

Data lakehouse architectures have been gaining significant adoption. To accelerate adoption in the enterprise Microsoft has created the Fabric platform, based on their OneLake architecture. In this episode Dipti Borkar shares her experiences working on the product team at Fabric and explains the various use cases for the Fabric service.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Data lakes are notoriously complex. For data engineers who battle to build and scale high quality data workflows on the data lake, Starburst is an end-to-end data lakehouse platform built on Trino, the query engine Apache Iceberg was designed for, w…

Summary

Stripe is a company that relies on data to power their products and business. To support that functionality they have invested in Trino and Iceberg for their analytical workloads. In this episode Kevin Liu shares some of the interesting features that they have built by combining those technologies, as well as the challenges that they face in supporting the myriad workloads that are thrown at this layer of their data platform.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Data lakes are notoriously complex. For data engineers who battle to build and scale high quality data workflows on the data lake, Starburst is an end-to-end …

Summary

Streaming data processing enables new categories of data products and analytics. Unfortunately, reasoning about stream processing engines is complex and lacks sufficient tooling. To address this shortcoming Datorios created an observability platform for Flink that brings visibility to the internals of this popular stream processing system. In this episode Ronen Korman and Stav Elkayam discuss how the increased understanding provided by purpose built observability improves the usefulness of Flink.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

This episode is supported by Code Comments, an original podcast from Red Hat. As someo…

Summary

Modern businesses aspire to be data driven, and technologists enjoy working through the challenge of building data systems to support that goal. Data governance is the binding force between these two parts of the organization. Nicola Askham found her way into data governance by accident, and stayed because of the benefit that she was able to provide by serving as a bridge between the technology and business. In this episode she shares the practical steps to implementing a data governance practice in your organization, and the pitfalls to avoid.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Data lakes are notoriously complex. F…

Summary

Any software system that survives long enough will require some form of migration or evolution. When that system is responsible for the data layer the process becomes more challenging. Sriram Panyam has been involved in several projects that required migration of large volumes of data in high traffic environments. In this episode he shares some of the valuable lessons that he learned about how to make those projects successful.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Data lakes are notoriously complex. For data engineers who battle to build and scale high quality data workflows on the data lake, Starburst is an end-to-en…

Summary

The purpose of business intelligence systems is to allow anyone in the business to access and decode data to help them make informed decisions. Unfortunately this often turns into an exercise in frustration for everyone involved due to complex workflows and hard-to-understand dashboards. The team at Zenlytic have leaned on the promise of large language models to build an AI agent that lets you converse with your data. In this episode they share their journey through the fast-moving landscape of generative AI and unpack the difference between an AI chatbot and an AI agent.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

This epis…

Summary

Building a data platform is a substrantial engineering endeavor. Once it is running, the next challenge is figuring out how to address release management for all of the different component parts. The services and systems need to be kept up to date, but so does the code that controls their behavior. In this episode your host Tobias Macey reflects on his current challenges in this area and some of the factors that contribute to the complexity of the problem.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

This episode is supported by Code Comments, an original podcast from Red Hat. As someone who listens to the Data Engineering Po…

Summary

Artificial intelligence has dominated the headlines for several months due to the successes of large language models. This has prompted numerous debates about the possibility of, and timeline for, artificial general intelligence (AGI). Peter Voss has dedicated decades of his life to the pursuit of truly intelligent software through the approach of cognitive AI. In this episode he explains his approach to building AI in a more human-like fashion and the emphasis on learning rather than statistical prediction.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Dagster offers a new approach to building and running data platforms and d…

Summary

Generative AI promises to accelerate the productivity of human collaborators. Currently the primary way of working with these tools is through a conversational prompt, which is often cumbersome and unwieldy. In order to simplify the integration of AI capabilities into developer workflows Tsavo Knott helped create Pieces, a powerful collection of tools that complements the tools that developers already use. In this episode he explains the data collection and preparation process, the collection of model types and sizes that work together to power the experience, and how to incorporate it into your workflow to act as a second brain.

Announcements

Hello and welcome to the Data Engineeri…

Summary

Generative AI has rapidly transformed everything in the technology sector. When Andrew Lee started work on Shortwave he was focused on making email more productive. When AI started gaining adoption he realized that he had even more potential for a transformative experience. In this episode he shares the technical challenges that he and his team have overcome in integrating AI into their product, as well as the benefits and features that it provides to their customers.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Dagster offers a new approach to building and running data platforms and data pipelines. It is an open-source, clou…

Summary

Databases come in a variety of formats for different use cases. The default association with the term "database" is relational engines, but non-relational engines are also used quite widely. In this episode Oren Eini, CEO and creator of RavenDB, explores the nuances of relational vs. non-relational engines, and the strategies for designing a non-relational database.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

This episode is brought to you by Datafold – a testing automation platform for data engineers that prevents data quality issues from entering every part of your data workflow, from migration to dbt deployment. Datafold …

Summary

Maintaining a single source of truth for your data is the biggest challenge in data engineering. Different roles and tasks in the business need their own ways to access and analyze the data in the organization. In order to enable this use case, while maintaining a single point of access, the semantic layer has evolved as a technological solution to the problem. In this episode Artyom Keydunov, creator of Cube, discusses the evolution and applications of the semantic layer as a component of your data platform, and how Cube provides speed and cost optimization for your data consumers.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data managemen…

Summary

Working with data is a complicated process, with numerous chances for something to go wrong. Identifying and accounting for those errors is a critical piece of building trust in the organization that your data is accurate and up to date. While there are numerous products available to provide that visibility, they all have different technologies and workflows that they focus on. To bring observability to dbt projects the team at Elementary embedded themselves into the workflow. In this episode Maayan Salom explores the approach that she has taken to bring observability, enhanced testing capabilities, and anomaly detection into every step of the dbt developer experience.

Announcements…

Summary

A core differentiator of Dagster in the ecosystem of data orchestration is their focus on software defined assets as a means of building declarative workflows. With their launch of Dagster+ as the redesigned commercial companion to the open source project they are investing in that capability with a suite of new features. In this episode Pete Hunt, CEO of Dagster labs, outlines these new capabilities, how they reduce the burden on data teams, and the increased collaboration that they enable across teams and business units.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Dagster offers a new approach to building and running data …

Как технология для стабильной работы магазина книг стала основой половины интернета? Из-за чего мы начали покупать бесконечные подписки на приложения? Почему из-за сбоев на серверах одного интернет сервиса ложится все? В этом выпуске рассказываем про «облака»: как они возникли и поменяли наши привычки покупать вещи, смотреть кино, редактировать документы и играть в игры.Реклама. ООО «Яндекс» ИНН 7736207543Партнер этого эпизода — сервис Яндекс Образование. Участвуйте в Олимпиаде AIDAO для студентов бакалавриата и магистратуры. Регистрация открыта до 5 октября 2024 года. Все подробности и условия участия тут:https://cutt.ly/aeRKEQpv?erid=2SDnjdYhKWzЭпизод с разработчиком хромбуков: https://pc…

Кремниевая долина названа так в честь кремния в компьютерных процессорах. Полвека назад они были медленные и размером с квартиру, но с тех пор уменьшились в сотни и разогнались в миллиарды раз. Кажется, закон Мура перестаёт работать, а кремний как основа электроники уходит в прошлое. С чего все началось и что грядёт на смену? Это выпуск о компании Intel и ее заклятом друге AMD, о создании процессора и о безумной сложности производства компьютерных чипов.Реклама. ООО «Яндекс» ИНН 7736207543Партнер этого эпизода — Яндекс Образование. Учитесь и узнавайте новое вместе Журналом от Яндекс Образования: https://education.yandex.ru/journal?erid=2SDnjdbF76zВ этом эпизоде мы упоминаем другие выпуски н…

Как маргинальный хиппи подчинил себе мировой цифровой рынок? Почему из десятков стартапов, рожденных в гаражах Кремниевой Долины, выстрелил именно Apple? Как пережить изгнание из собственной компании, а потом триумфально вернуться в нее ещё более богатым, чем уходил? Наконец, как работало «поле искажения реальности», позволявшее создавать невозможное? В этом выпуске рассказываем историю IT-иконы и человека-мифа Стива Джобса и его корпорации Apple.Реклама. ООО «Яндекс» ИНН 7736207543Партнер этого эпизода — Яндекс. Приходите работать, а 12 сентября — отмечать День разработчика в осенний коворкинг Яндекса в Парке Горького: https://clck.ru/3Cjpx8erid=2SDnjbuMCprПоддержите студию «Либо/Либо» дон…

Гугл - главный поисковик нашего времени, с которым никто не может конкурировать. Однако, не так давно он был лишь одним из шести подобных стартапов, и в его успех никто не верил кроме двух 20-летних студентов которые совершенно случайно наткнулись на главный клад 21 века — поисковой трафик. О том, как сын советских евреев и его однокурсник по Стэнфорду изобрели способ найти что угодно за секунды, подмяли под себя интернет и столкнули с Олимпа непобедимого Билла Гейтса - третий эпизод нового сезона «Запуска завтра». Реклама. ООО «Яндекс» ИНН 7736207543Партнер этого эпизода — Яндекс. Приходите работать в осенний коворкинг Яндекса с 6 сентября по 4 октября: https://clck.ru/3Cjptb?erid=2SDnjdeA…

Билл Гейтс — одна из самых противоречивых фигур в истории IT. Как он победил самую влиятельную корпорацию своего времени и сам вырастил такого же IT-гиганта? Кому проиграл битву за Интернет? Наконец, правда ли его карьеру ускорила влиятельная мама? Второй эпизод нового сезона «Запуска завтра» — про технологического гиганта 90-х, компанию Microsoft, и ее создателя Билла Гейтса.***Реклама. ООО «Яндекс» ИНН 7736207543Партнер этого эпизода — Яндекс. Приходите на Practical ML Conf от Яндекса 14 сентября в Москве или онлайн: https://clck.ru/3CjqjB?erid=2SDnjcsfPcE ***Подробнее про курс «Как делать разговорные подкасты»:https://t.me/libolibocourses/18***В эпизоде мы упоминаем подкаст «Конкуренты» …

Чем разработка компьютера похожа на запуск ракеты на Луну? Легко ли быть сыном самого успешного человека на континенте? Как один мелкий пункт в договоре может выбить из гонки, которую ты сам же и начал?В первом эпизоде нового сезона «Запуска завтра» рассказываем о взлете и падении империи IBM, появлении персонального компьютера, зарождении Кремниевой Долины и о том, как стартаперы в майках с пятнами от пиццы становятся важнее топ-менеджеров в костюмах-тройках.***Реклама. АО «Точка» ОГРН: 1187746637143 ИНН 9705120864Партнер эпизода — финтех-компания Точка. Посмотреть, как устроена работа в Точке, можно тут: https://tchk.me/A1Ye0k?erid=2SDnjcys7Ja***Слушайте бонусы «Запуска завтра» по подписк…

В основе движения right to repair лежит крайне простая идея: только сами пользователи могут решать, как им распоряжаться своими приобретениями, будь то телефон, кухонный комбайн или газонокосилка. Но убедить в этом производителей пока не смог даже Конгресс США. Зачем компаниям ограничивать право на ремонт электроники? Какое оно — по-настоящему ремонтопригодное устройство? И, наконец, почему активистов движения так бесит компания Apple? Обсуждаем право на ремонт с Гэй Гордон-Бёрн, одной из основательниц Digital Right To Repair Coalition.Сайт коалиции: https://www.repair.org/***Реклама. АО «Точка» ОГРН: 1187746637143 ИНН 9705120864Партнер эпизода — финтех-компания Точка. Посмотреть, как устро…

Вы когда-нибудь открывали инструкцию к микроволновке? Кажется, ее никто не читает. При этом документация есть примерно у всех устройств, которыми мы пользуемся каждый день, и кто-то даже строит на ней бизнес. Зачем нужна документация? Кто ее создает? И что должен уметь писатель в IT? Самат Галимов говорит с Семеном Факторовичем — техническим директором documentat.io — компании по разработке документации.Курс Семена для разработчиков: https://documentat.io/courses/developers-developers-developers/Чат техписателей: https://t.me/technicalwritersТелеграм-канал Коли Волынкина: https://t.me/s/docops Семен рекомендует книгу The Product is Docs, автор Christopher Gales***Реклама. АО «Точка» ОГРН: 1…

Специалисты по безопасности говорят, что пароли устаревают. Что с ними не так? Какие вообще способы аутентификации существуют? И чем их заменить? Самат Галимов говорит с Каримом Валиевым, который руководил группой информационной безопасности Mail.Ru.Реклама. АО «Точка» ОГРН: 1187746637143 ИНН 9705120864Партнер эпизода — финтех-компания Точка. Посмотреть, как устроена работа в Точке, можно тут: https://tchk.me/IkUNnN?erid=2SDnjbpj8B4 Слушайте бонусы «Запуска завтра» по подписке «Либо/Либо+» в закрытом тг-канале https://cutt.ly/zap2507eptg1990 (подписка на год за 1990руб) или https://cutt.ly/zap2507eptg (399руб/месяц), а также в Apple Podcasts https://cutt.ly/zap2507epap 🎧 Слушайте подкаст «Г…

Кажется, что роботы способны на всё — от уборки квартиры до исследования поверхности Марса. При этом, возможно, вам приходилось ставить галочку рядом с фразой «Я не робот», чтобы зайти на сайт. Неужели робот бы не справился с такой задачей? Как устроен механизм, который различает роботов и людей в интернете? Кто пытается его обмануть и зачем? Самат Галимов говорит с Никитой Захматовым, который защищает от роботов инфраструктуру «Яндекса».Реклама. АНО ДПО «Образовательные технологии Яндекса» ИНН 7704282033 Курс «Java-разработчик»: https://ya.cc/t/lMZjkaqJ5Aycex?erid=2SDnjeFcxyY❗️Мы пробуем видео! Этот и два предыдущих эпизода вышли с видеоверсиями. В них — примерно то же самое, но с лицами и…

Иногда сесть за руль и доехать до пункта назначения занимает 15 минут, а найти место для парковки — в два раза больше. Бывший технический директор Авито Роман Павлушко создал стартап, который решает эту проблему в крупных российских городах. Самат расспросил Рому о деньгах, команде и перспективах.Реклама. АНО ДПО «Образовательные технологии Яндекса» ИНН 7704282033Бесплатный курс «Основы работы с Git»: https://ya.cc/t/X2V0hT_f5AyGGn?erid=2SDnjdmt3ea ❗️Мы пробуем видео! Этот, следующий и предыдущий эпизод выходят с видеоверсиями. В них — примерно то же самое, но с лицами и иллюстрациями. Ссылка на видеоверсию этого эпизода: https://youtu.be/DkGl-wTJN5s Подписывайтесь на YouTube-канал студии «…

Когда мы говорим об искусственном интеллекте, обычно представляем себе ChatGPT от OpenAI. Но собственные продукты есть еще и у Microsoft, Google, Meta, Mistral, Apple... Илон Макс, который, кстати, был одним из соучредителей OpenAI, тоже пообещал сделать свой AI — он хочет «понять природу Вселенной». Кто всё-таки главный на рынке? Как создают современные нейросети? И каким может быть следующий прорыв?Реклама. АНО ДПО «Образовательные технологии Яндекса» ИНН 7704282033Курс «Инженер по тестированию: от новичка до автоматизатора» https://clck.ru/3B8rmu?erid=2SDnjesH1ri❗️Мы пробуем видео! Этот и следующие два эпизода выйдут с видеоверсией. В них — примерно всё то же самое, но с лицами и иллюстр…

Активные пользователи наверняка замечали, что в последние годы их ленты в соцсетях стали выглядеть по-другому, а блогеры и интернет-бизнесы жалуются на падение охватов. Во всем виноваты алгоритмы? Куда бежать от умных лент? Разбираемся, как устроены популярные соцсети с Йованом Савовичем, создателем Лепрозория и dirty.ru.Реклама. АНО ДПО «Образовательные технологии Яндекса» ИНН 7704282033Курс «Разработчик C++»: https://clck.ru/3B8p9y?erid=2SDnjdh8w6rМы пробуем видео! Следующие три эпизода выйдут с видеоверсией на YouTube-канале студии «Либо/Либо». Подпишитесь, чтобы не пропустить: https://youtube.com/@libolibostudio?feature=sharedСлушйте бонусные эпизоды «Запуск++», а еще другие бонусы студ…

Помните, как несколько месяцев назад в российских СМИ писали, что в марте этого года VPN заблокируют? Сейчас июнь, а мы по-прежнему им пользуемся. Что пытались сделать власти и что из этого вышло? Безопасно ли подключаться к бесплатному VPN и как вообще работает эта технология? Почему скорость интернета упала и как обычным пользователям сохранить к нему доступ? В этом выпуске Самат Галимов говорит с Михаилом Климарёвым — руководителем проекта VPN Generator и исполнительным директором фонда «Общество защиты интернета».Реклама. АНО ДПО «Образовательные технологии Яндекса» ИНН 7704282033Бесплатный курс «Какую профессию выбрать в анализе данных»: https://clck.ru/3B8mbg?erid=2SDnjdpNnNvК этому э…

Представьте себе свитки с текстами, которым 2000 лет. Они спеклись при извержении Везувия, и их почти невозможно развернуть. Прочитать рукописи — звучит как совсем невыполнимая задача. Но сотни технарей уже больше года пытаются расшифровать античные тексты на конкурсе The Vesuvius Challenge. Как у них получается и зачем они это делают? Откуда взялись эти свитки? И почему из-за них в Европе готовы подвинуть целый город? Чтобы разобраться, Самат Галимов говорит с участником конкурса Антоном Репушко.Сайт конкурса: https://scrollprize.orgРеклама. АНО ДПО «Образовательные технологии Яндекса» ИНН 7704282033Курс «Фронтенд-разработчик» для тех, кто хочет освоить профессию с нуля или сменить направл…

Спонсор подкаста: курсы по Python-разработке для тех, кто уже знаком с веб-разработкой — https://vk.cc/cADwoW Ведущие – Григорий Петров и Михаил Корнеев

Новости выпуска:

Вышла Django 5.1

Большой релиз uv PyPI снизили время реагировании на mailware до 24 часов

IEEE опубликовали очередной рейтинг популярности языков, python на первом месте Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru

Спонсор подкаста — https://learn.python.ru/advanced

Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: Утечка токена для полного доступа к GitHub-репозиториям проекта Python

Запущен сайт про nogil-питон

Python grapples with Apple App Store rejections

Вышел Polars 1.0 PEP 751 общий формал для lock-файлов зависимостей Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru

Спонсор подкаста — https://learn.python.ru/advanced

Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: Должен ли Python использовать календарную нумерацию версий Релиз NumPy 2.0

Как устроена инфраструктура работы с уязвимостями в Python

Современные практики для разработки на Python Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru

В этом выпуске встретились с Сергеем Яхницким и обсудили: Python в Яндекс.Такси

как в Яндексе организована разработка Python кода

как организован CI/CD

какие линтеры используют

борются ли как-то с использованием типов

используют ли в Яндексе ruff

про PiterPy

про поиск спикеров

что нравится Сергею в конференциях

Спонсор подкаста: продвинутые курсы для разработчиков — https://vk.cc/cxi9FL

Ведущие – Григорий Петров и Михаил Корнеев https://github.com/sobolevn/ship-it-b... - настолка от Никиты / @sobolevn — видео от Никиты

Спонсор подкаста — https://learn.python.ru

CFP PiterPy — https://piterpy.com/callforpapers/

Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: Вышла бета python 3.13

Django Developers Survey 2023

Django Enhancement Proposal: Background Workers

Fake job interviews target developers with new Python backdoor

Как выбирают доклады на EuroPython Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru

Спонсор подкаста — https://learn.python.ru

Python Day на Positive Hack Days — https://bit.ly/phd-mpp Ведущий – Григорий Петров Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru

Спонсор подкаста — https://learn.python.ru

Python Day на Positive Hack Days — https://bit.ly/phd-mpp Ведущие – Григорий Петров и Валентин Домбровский Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru

Спонсор подкаста — https://learn.python.ru

Python Day на Positive Hack Days — https://bit.ly/phd-mpp Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: Pydantic запустили бета-версию Longfire

Łukasz научил GitHub собрать CPyhon из исходников

PyPI is expanding Trusted Publisher Support Релиз ruff 0.4.0 New Open Initiative for Cybersecurity Standards Ubuntu 24.04 LTS

PEP-744 Jit Compilation

Студенческие задания в Open source Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru

Спонсор подкаста — https://learn.python.ru

Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: релиз ruff 0.3.0

style czar или попытка привести языки к одному стилю

Gemini Pro объявила кеширование «риском безопасности»

Cloudflare запустили поддержку python в cloud-workers-ах

как за год изменилось состояние Web Assembly в Python

в pypi завезли возможность репортить malware-пакеты закончилось большое обсуждение lock-файлов от Brett Canon вышел DRF 3.15 почти через 2 года после пердыдущей версии Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https:/…

Спонсор подкаста — https://learn.python.ru

Ведущие – Григорий Петров и Михаил Корнеев Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы MoscowPython — https://moscowpython.ru

Спонсор подкаста — https://learn.python.ru

Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: Тул для работы с зависимостями для Python — `uv`

PEP 740 — возможность добавление работы с цифорвыми подписями для реестров пакетов типа PyPI Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы MoscowPython — https://moscowpython.ru

Спонсор подкаста — https://learn.python.ru

Ведущие – Григорий Петров и Михаил Корнеев Ссылки Никиты: GitHub — github.com/sobolevn Youtube — @sobolevn

Lua – уникальный язык программирования, так и не ставший массовым, но при этом занявший кучу разных ниш. Его используют, чтобы писать моды для Factorio, Minecraft и Roblox, высоконагруженную логику для nginx, скрипты для redis, плагины для neovim и wireshark, и даже софт для микроконтроллеров. Все это стало возможным благодаря некоторым дизайновым решениям, которые сделали Lua самым удобным языком для встраивания в другие системы. Антон Солдатов, долгое время разрабатывавший код на Lua в IPONWEB, а также участвовавший в разработке внутреннего форка LuaJIT, рассказал нам все, что нужно знать про этот язык. Партнёр эпизода — образовательная платформа Грейд от Яндекс Практикума.

Грейд помогает…

Почему одни языки легко взаимодействуют между собой – как, например C и C++, или Java и Kotlin, а другие создают неимоверную боль при попытке вызвать функции одного языка из другого? Все дело в интеропе! Что это такое, и почему он сложнее, чем кажется – разбираемся с Николаем Иготти! Партнёр эпизода — образовательная платформа Грейд от Яндекс Практикума.

Грейд помогает руководителям и тимлидам точечно обучать сотрудников или целые команды навыкам для конкретных бизнес-задач: подготовить команду к новому проекту, вырастить стажеров или переобучить сотрудника для новой роли. На платформе Грейда более 1000 навыков, а также возможность конструировать обучение под запрос, наблюдать за прогрессом…

В выпусках мы уже обсуждали Java, Kotlin, Scala и даже Clojure, но теперь пришло время разобраться с основой популярности этих языков — Java Virtual Machine. Кто сможет лучше всего рассказать о внутреннем устройстве JVM? Конечно, тот, кто сам создавал одну из её реализаций! В этом выпуске вместе с Никитой Липским, инициатором проекта Excelsior JET — JVM с AOT компилятором, мы углубляемся в анатомию JVM, разбираемся с её спецификацией и различными реализациями, обсуждаем особенности оптимизаций, текущие проблемы и тренды в экосистеме JVM. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Стр…

В этом выпуске мы поговорили о входе в IT, обучении и устройстве на позицию junior-разработчика с сооснователем Hexlet Кириллом Мокевниным. Обсудили, как собрать портфолио и где получить практический опыт до первой работы. Изначально Кирилл не планировал затрагивать тему софт-скиллов, но в итоге не удержался — вышло интересно и содержательно. Выпуск – набор конкретных советов и рекомендаций для тех, кто начинает карьеру в IT. Партнёр эпизода – облачная платформы Yandex Cloud. 25 сентября команда проводит Yandex Scale – большую конференцию для тех, кто создаёт цифровые решения. Участников ждет насыщенная программа с технологическими анонсами и практическими кейсами применения облачных технол…

Сколько факторов аутентификации нужно использовать, чтобы учетные записи ваших пользователей были в безопасности? Зачем сбрасывать пароль каждые 30 дней? Есть ли методы аутентификации, которые, с одной стороны, достаточно безопасные, а с другой – удобные даже для вашей бабушки? Никита Хромушкин из Авито провел для нас максимально подробную лекцию про то, насколько проклято текущее состояние дел в аутентификации и какое светлое будущее нас ждет, когда человечество откажется от паролей! Партнёр эпизода – облачная платформа Yandex Cloud, которая проводит большую конференцию Yandex Scale для тех, кто создаёт цифровые решения. Генеративные нейросети, речевые технологии, сервисы для работы с данн…

С – язык, на котором написана значимая часть всего, что нас окружает: от ядра операционной системы до мозгов автомобиля, из колонок которого вы будете слушать этот подкаст. В выпуске вместе с Игорем Жирковым разбираемся с тем, насколько современный C похож на язык, с которым вы познакомились в той самой книге Кернигана и Ритчи, какие особенности делают его одним из самых нетерпимых языков к ошибкам программиста, и стоит ли вообще на нем писать код в 2024 году. Партнер эпизода — TeamLead T-Sync, мероприятие, на котором вы сможете заглянуть в самое сердце культуры тимлидов Т-Банка. Вы сможете послушать доклады, поучаствовать в открытой дискуссии и спиддейтинге с мидл-менеджментом, а также поо…

Вторая часть выпуска про звук с Сергеем Рябовым. Если в первой части мы обсудили, как и на что звук записывают, то во второй — как его послушать. Разобрали все от максимального правильного сетапа с золотыми проводами и аналоговым сигналом, до кастомных наушников, делающихся по вашему слепку уха. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: https://facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Стас Цыганов, Женя Кателла Полезные ссылки:

Контакты Сергея:

https://t.me/dubbydreadspeaking

https://vk.com/dubbydread

htt…

Частые землетрясения, жизнь на 12 кв.м. и убийственно дорогие фрукты — это только одна из сторон жизни в Японии. На самом деле, все гораздо более позитивно! Ася Кононова, год назад переехавшая в Японию после получения оффера в местную компанию, рассказывает про свой опыт адаптации в стране, все ее культурные особенности и дает кучу советов тем, кто захочет повторить ее путь. Полезные ссылки:

Поиск работы: https://japan-dev.com

Про жизнь в Японии: https://youtube.com/@torichyanchanne

Поиск людей по интересам: https://meetu.ps Подробное описание разницы между получением гражданства и ПР: https://dsg.or.jp/column/naturalization/6304/ Также ждем вас, ваши лайки, репосты и комменты в мессенджера…

Существует популярное мнение – делай свою работу быстрее и лучше других, и продвижение по карьере не заставит себя ждать. На ранних этапах карьеры это еще справедливо, но чем дальше – тем больше правила игры меняются. Особенно в FAANG, где на каждую высокую позицию невероятно высокая конкуренция. Какие правила там действуют, и как к ним подступиться – выясняем вместе с Максом Страховым. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Женя Кателла, Катя Петрова, Аня С…

На протяжении всей карьеры нам постоянно приходится вести переговоры о деньгах — при принятии оффера, обсуждении профессионального роста со своим тимлидом, или назначении стоимости за фриланс и консалтинг услуги. Переговоры — это искусство; понимая их суть и зная основные тактики вы можете сильно увеличить ваши шансы на успех. В этом выпуске вместе с Ильей Синельниковым мы разбираем основные кейсы, когда ИТ-специалистам необходимо вести переговоры о деньгах и учимся применять основные переговорные практики (мир клиента, нет нужде, право на нет), чтобы получать больше. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал…

Люди — главный ресурс любого бизнеса. В этом выпуске вместе с Викой Ёлкиной, экспертом в проектировании корпоративного обучения, разбираемся почему компании инвестируют в обучение сотрудников; кого, как и чему учить; и где брать экспертов для создания программ. Поговорили про то, какие навыки развивать внутри компании, а какие лучше взять извне. Обсудили мотивацию сотрудников, роль HR и руководителей, составление индивидуальных планов развития и то, как измерять эффективность таких вложений. Партнёр эпизода — компания YADRO. YADRO — это крупнейшая технологическая компания, которая создает фундаментальные для российского рынка продукты, начиная от серверов, и заканчивая собственной базовой с…

Про стоицизм поговорили с Иваном Ямщиковым – ведущим подкаста Проветримся, а еще профессором Высшей Технической Школы города Вюрцбург. Обсудили, как стоицизм помогает меньше переживать из-за событий, на которые мы не можем повлиять, и дает мотивацию делать то, что действительно важно. Идеи из выпуска могут помочь пережить тяжелые времена и не только. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Стас Цыганов, Катя Петрова, Егор Толстой Полезные ссылки: Выпуск Ивана…

Подлодка – это в некотором роде СМИ, хоть и не очень массовое. Нам стало интересно, как работают изнутри настоящие медиа, поэтому мы пригласили в гости Максима Иванова, который за свою карьеру работал и в игрожуре, и в общественно-политическом издании, которое нельзя называть, а сейчас тимлидит редакции в Т—Ж. Вместе с ним мы разбираемся, чем отличаются различные типы медиа, как работают редакции, и кто и зачем сейчас вообще идет в журналистику. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/Podlodka…

Когда-то давно Роберт Мартин (он же “Дядя Боб”) популяризовал словосочетания “Чистый код” и “Чистая архитектура”. С тех пор не утихают споры, а что же именно он под всем этим подразумевает. Прошло несколько раундов обсуждений, и уже выросло поколение разработчиков, которые говорят, что рекомендациям Дяди Боба ни в коем случае нельзя следовать. А значит пришла пора нам самим разобраться с тем, что такое Чистый Код! А помогает нам в этом Кирилл Мокевнин из Hexlet. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twi…

Артём Родичев — основатель и CEO стартапа ex-Human. ex-Human создаёт искусственный интеллект, способный поддерживать беседу на любую, даже очень личную, тему.Ex-human AI: https://exh.ai/Support the Show.ApplePodcasts: https://apple.co/2Psx8yd GooglePodcasts: https://shorturl.at/finK1 Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

Наталия Шагарина — серийная предпринимательница. Её новый стартап Аврора - виртуальный помощник для семей. Аврора помогает координировать расписание и справляться с рутиной, осовобождая силы и время, - чтобы все могли заниматься самым важным.Support the Show.ApplePodcasts: https://apple.co/2Psx8yd GooglePodcasts: https://shorturl.at/finK1 Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

19 февраля (по старому стилю) или 3 марта (по новому) 1861 года в Российской Империи указом императора Александра Второго отменили крепостное право.Это вторая серия двухсерийного разговора. Сегодня мы говорим с историком Иваном Куриллой, специалистом по русско-американским отношениям о схожем и различном между рабством в США и крепостничеством в России.Support the Show.ApplePodcasts: https://apple.co/2Psx8yd GooglePodcasts: https://shorturl.at/finK1 Я.Музыка: https://clck.ru/JJB8yПатрео...

19 февраля (по старому стилю) или 3 марта (по новому) 1861 года в Российской Империи указом императора Александра Второго отменили крепостное право.Это первая серия двухсерийного разговора. Сегодня мы говорим с историком Владимиром Коршаковым, автором канала Русские Летописи про то, как древнерусский человек понимал понятия "воля" и "свобода".Ютуб Владимира: @letopisirus Телеграм: https://t.me/letopisi_rusТвиттер: https://twitter.com/letopisi_rusSupport the Show.ApplePodcasts: htt...

Беседуем с Сереем Суховым, создателем самого крупного Telegram-канала о стоицизме и тренажера по стоицизму.Support the showApplePodcasts: https://apple.co/2Psx8yd GooglePodcasts: https://shorturl.at/finK1 Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

Перед разговором с Сергеем Суховым о философии стоиков я решил записать короткий эпизод про принципы философии стоицизма.Support the showApplePodcasts: https://apple.co/2Psx8yd GooglePodcasts: https://shorturl.at/finK1 Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

Илья Параушкин — СЕО компании Biovolf. Биотех — необъятное поле для беседы. На этот раз продолжили разговор про экстремофилов, обсудили эволюцию, экосистемы, биологические катастрофы и перспективы человечества. Илью вы точно ещё у нас услышите.Support the showApplePodcasts: https://apple.co/2Psx8yd GooglePodcasts: https://shorturl.at/finK1 Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

Михаил Свердлов, ex-CBDO в Skypro, ex-Content Director в Skyeng, эксперт и консультант по образовательному продукту и аналитике, независимый CPO/директор по развитию и стратегии, автор телеграм-канала Образование, которое мы заслужили.У Миши очень богатый опыт в создании и развитии технологических продуктов на разных рынках, 5 лет из них в сфере образования. Последние 1,5 года Миша живёт в США.Ссылки:Канал «Образование, которое мы заслужили» https://t.me/ru_educationКанал «Камера хранения»https://t.me/schoolstorageИсследование с ВШЭ про аналитику в образовании и дата-центричный подход к построению образовательного контентаhttps://ioe.hse.ru/pubs/share/direct/547495575.pdfИсследование для Na…

Маша Грекова делает несколько проектов для взрослых людей с ментальными особенностями.Нормальное местоhttps://www.mestonorm.ruПростые вещиhttps://prostieveschi.ruОгурцыhttps://www.instagram.com/ogurtsinafontanke/Support the showApplePodcasts: https://apple.co/2Psx8yd GooglePodcasts: https://shorturl.at/finK1 Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

В заключительном эпизоде второго сезона мы пытаемся разобраться, как новое поколение нейросетей меняет науки и чем теперь заняться ученым, если больше не нужно даже писать рефераты. erid: 2SDnjdTbzaL Реклама. АО «Точка». ИНН 9705120864 Кольцо для бесконтактной оплаты от Точки: https://tchk.me/m4f2g4 Слушайте первые выпуски подкаста «Шум в ушах» на всех платформах https://cutt.ly/shu12vupc, а все восемь выпусков уже доступны в Apple Podcasts https://cutt.ly/shu1212vuap или в закрытом телеграм канале Либо/Либо https://cutt.ly/shu1212vutg

Topics include uv under discussion on Mastodon, erdantic: Entity Relationship Diagrams, , and.

Topics include , narwhals, Microsoft wants Three Mile Island to fuel its AI power needs, and zsh-in-docker.

Topics include We must replace uwsgi by something else, Let’s build and optimize a Rust extension for Python, Fake recruiter coding tests target devs with malicious Python packages, and Monthly PSF Board Office Hours.

Topics include , Docker images using uv's python, 10 years of sustainable open source, and humanize.

Topics include Why I Still Use Python Virtual Environments in Docker, Python Developer Survey Results, Anaconda Code add-in for Microsoft Excel, and Disabling Scheduled Dependency Updates.

Topics include , uv 0.3.0 and all the excitement, Top pytest Plugins, and A comparison of hosts / providers for Python serverless functions Faas)

Topics include pyawaitable, Annotated area charts with plotnine, DeltaDB, and PyCon US 2024 Recap + Videos are up.

Topics include uv venv & uv python, Python 3.12.5 released, Compile and use dependencies for multiple Python versions in Tox, and Catalog of Dark Patterns.

Topics include py-free-threading.github.io, Python’s Supportive and Welcoming Environment is Tightly Coupled to Its Progress, Status pages for sites, and PEP 751 – A file format to list Python dependencies for installation reproducibility.

Topics include Python is easy now, Trying out free-threaded Python on macOS, Module itertools overview, and uptime-kuma.

Topics include Marimo: of Notebooks”, pytest 8.3.0 & 8.3.1 are out, Python Language Summit 2024, and bash-dungeon.

Topics include 2024 PSF Board Election & Proposed Bylaw Change Results, SATYRN: A modern Jupyter client for Mac, Incident Report: Leaked GitHub Personal Access Token, and.

Topics include Vendorize packages from PyPI, A Guide to Python's Weak References Using weakref Module, Making Time Speak, and How Should You Test Your Machine Learning Project? A Beginner’s Guide.

Topics include Joining Strings in Python: A Moment, 10 hard-to-swallow truths they won't tell you about software engineer job, My thoughts on Python in Excel, and.

Topics include Solara UI Framework, Coverage at a crossroads, and “Virtual” methods in Python classes.

MongoDB Atlas is a managed NoSQL database that uses JSON-like documents with optional schemas. The platform recently released new vector search capabilities to facilitate building AI capabilities. Ben Flast is the Director of Product Management at MongoDB. He joins the show to talk about the company’s developments with vector search. This episode is hosted by

The post MongoDB Vector Search with Ben Flast appeared first on Software Engineering Daily.

Darío and Wiseguy are Nintendo 64 hackers and modders. They are the creators of multiple projects, including RT64 which is an N64 graphics renderer for enhancing games in emulators and native ports. This year, they released N64: Recompiled, which is a tool to statically recompile N64 binaries into C code that can be compiled for

The post N64 Recompiled with Darío and Wiseguy appeared first on Software Engineering Daily.

The Stack Overflow Developer Survey is an annual survey conducted by Stack Overflow that gathers comprehensive insights from developers around the world. It offers a valuable snapshot of the global developer community, covering a wide range of topics such as preferred programming languages, tools, and technologies. Erin Yepis is a Senior Analyst and Ryan Polk

The post The 2024 Stack Overflow Developer Survey with Erin Yepis and Ryan Polk appeared first on Software Engineering Daily.

Software supply chain attacks exploit interdependencies within software ecosystems. Security in the supply chain is a growing issue, and is particularly important for companies that rely on large numbers of open source dependencies. Chainguard was founded in 2021 and offers tools and secure container images to improve the security of the software supply chain. Matt

The post Container Security with Matt Moore appeared first on Software Engineering Daily.

Google’s Maps JavaScript API is a fundamental web technology that’s used to build dynamic and interactive map features in web apps. Matt Toon is a Solutions Engineering Manager for the Google Maps Platform. He joins the podcast with Josh Goldberg to talk about his background working with geospatial data, the development of Google Maps, bringing

The post Google Maps Javascript API with Matt Toon appeared first on Software Engineering Daily.

LLMs are becoming more mature and accessible, and many teams are now integrating them into common business practices such as technical support bots, online real-time help, and other knowledge-base-related tasks. However, the high cost of maintaining AI teams and operating AI pipelines is becoming apparent. Maxime Armstrong and Yuhan Luo are Software Engineers at Dagster,

The post AI Pipelines with Maxime Armstrong and Yuhan Luo appeared first on Software Engineering Daily.

Data is at the center of many business decisions and advances today, including AI-driven capabilities. This requires companies to have well-governed data that is easy for users to find, use and understand. In moving to the cloud, Capital One modernized its data ecosystem and adopted a “You Build, Your Data” model to equip its data

The post Data Management at Capital One with Jim Lebonitte appeared first on Software Engineering Daily.

ESLint is a static code analysis tool for identifying and fixing problems in JavaScript code. It helps developers maintain code quality and consistency by enforcing coding standards and detecting issues such as syntax errors, stylistic problems, and bugs. Nicholas Zakas is the creator of ESLint. He joins the show to talk about working at Yahoo

The post Creating ESLint with Nicholas Zakas appeared first on Software Engineering Daily.

The Humane pin is a multi-modal wearable device designed by Humane Inc., a startup co-founded by former Apple employees Imran Chaudhri and Bethany Bongiorno. This wearable is part of a broader vision to create more seamless and integrated interactions between humans and technology, moving away from traditional screens. George Kedenburg III is a Software Designer

The post Humane with George Kedenburg III and Josh Dickens appeared first on Software Engineering Daily.

Online transaction processing, or OLTP, is designed for managing high volumes of short, fast, and concurrent transactions, such as data entry and retrieval operations. OLTP systems solve the problem of efficiently handling numerous simultaneous transactions, making them essential for sectors like banking and retail. Joran Dirk Greef is the Founder and CEO of TigerBeetle, which

The post Building a Fast Financial Transactions Database with Joran Greef appeared first on Software Engineering Daily.

Mozilla Firefox is an open-source web browser developed by the Mozilla Foundation. Since its first major release in 2004, it has stood out on the browser landscape for its emphasis on privacy, security, and customization. Brian Grinstead is a Senior Principal Engineer at Mozilla. He joins the podcast with Kevin Ball to talk about the

The post Firefox Software Architecture with Brian Grinstead appeared first on Software Engineering Daily.

Google needs no introduction, and is renowned for its data and analytics capabilities. Gerrit Kazmaier is the VP and GM for Database, Data Analytics and Looker at Google. He has a long history in the space, and in this episode he speaks with Sean Falconer about data and analytics in the AI era. Sean’s been

The post AI Data Analytics at Google with Gerrit Kazmaier appeared first on Software Engineering Daily.

DevOps is a powerful model for managing the building and operational aspects of modern applications. Most developers are now familiar with DevOps, and the adoption of DevOps practices is widespread and growing. Adam Jacob was the original author of Chef, a popular early DevOps tool. He’s now the CEO of System Initiative, which develops an

The post Building a Collaborative DevOps Platform with Adam Jacob appeared first on Software Engineering Daily.

React is an open-source front-end JavaScript library maintained by Meta. It was first released in 2013 and is now the most popular web framework. Ilya Gurevich is a Senior Software Engineer at The New York Times. Last winter, his team set out to implement React 18 for The Times’ flagship core news site. Ilya recently

The post React 18 at The New York Times with Ilya Gurevich appeared first on Software Engineering Daily.

Feature flagging tools have grown in popularity as a way to decouple releases and deployment, but they can introduce their own long-term problems and tech debt. Lekko is a startup democratizing the practice of dynamic configuration. Their motivating idea is to empower engineers to focus on software releases, and business teams and other stakeholders to

The post Lekko and Dynamic Configuration with Konrad Niemiec appeared first on Software Engineering Daily.

-=Выпуск 77=- Немного прогнозов про технологические интересности наступающего года; в основном те, которые касаются цифровой стороны нашего мира и её развития. В выпуске упомянуты мартовский (2023) и с его прогнозом на 2024

Through modernizing numerous legacy systems for our clients, we have found that an evolutionary approach makes legacy displacement both safer and more effective at achieving its value goals.

For our part, we have been experimenting over the last 18 months with LLMs to tackle the challenges associated with the modernization of legacy systems.

Our goal is for this accelerator to become our sensible default in legacy modernization, enhancing our modernization value stream and enabling us to realize the benefits for our clients more efficiently.

These are some of the most significant legacy systems we encounter, both in terms of size and complexity.

In the era of GenAI, specifically in the mode…

Through modernizing numerous legacy systems for our clients, we have found that an evolutionary approach makes legacy displacement both safer and more effective at achieving its value goals.

For our part, we have been experimenting over the last 18 months with LLMs to tackle the challenges associated with the modernization of legacy systems.

Our goal is for this accelerator to become our sensible default in legacy modernization, enhancing our modernization value stream and enabling us to realize the benefits for our clients more efficiently.

These are some of the most significant legacy systems we encounter, both in terms of size and complexity.

In the era of GenAI, specifically in the mode…

Our goal is for this accelerator to become our sensible default in legacy modernization, enhancing our modernization value stream and enabling us to realize the benefits for our clients more efficiently.

We intend to use this article to share our experience applying GenAI for Modernization.

We do not suggest that CodeConcise or its approach is the only way to apply GenAI successfully for modernization.

While some approaches at this stage are common across legacy tech stacks, we have also engineered prompts in our comprehension pipeline tailored to specific languages or frameworks.

This DBMS features vector search capabilities, enabling us to integrate the Knowledge Graph into the frontend a…

It’s a common practice to have an organization wide data catalog to index these data products, they typically contain rich metadata about all published data products.

Your job is to look at the meta data about a data product provided and evaluate if certain architectural properties of the data product holds true or not.

Your job is to look at the meta data about a data product provided and evaluate if certain architectural properties of the data product holds true or not.

} }) Product_Id data product: We expect this data product to fail the test for valuable_on_its_own.

However, this does not absolve the data product teams from considering the specific requirements of their domain when buil…

Cycle Time is a measure of how long it takes to get a new feature in a software system from idea to running in production.

Although the rough notion of cycle time, and the importance of reducing it, is common, there is a lot of variations on how cycle time is measured.

“first-commit cycle time” vs “idea cycle time”) to tell them apart.

Understanding this flow of work allows us to find ways to reduce the cycle time.

Further Reading The best grounding on understanding cycle time and how to reduce it is The Principles of Product Development Flow

Martin Fowler: 22 Aug 2024Two decades ago, I posted that I found that the strangler fig plant was an interesting metaphor for the gradual replacement of a legacy system.

I didn’t refer to the metaphor since, but meanwhile it grew a life of its own.

Other people increasingly referred to the strangler fig approach to modernization, and traffic to that post steadily increased: currently it gets about 5000 page views a month, one of the more popular pages on this site.

So I decided I needed to update that page, and have rewritten it, focusing on the core activities we need to do to make a success of such a venture.

(This summarizes more detailed writing from Ian Cartwright, Rob Horn, and Jame…

As well as the speed of the feedback loop for the AI input, I also reflect on the reliability of that feedback loop.

They will give additional input and review for the AI input, and increase my confidence.

The lower the margin for error, the more critical I will be of the AI input.

There is a mindset shift we have to make when using Generative AI tools in general.

When you adjust these expectations, and give yourself some time to understand the behaviours and quirks of the eager donkey, you’ll get more out of AI coding assistants.

Martin Fowler: 31 Jul 2024From time to time I take a look at my site analytics to see how much traffic various bits of this site get.

When doing this I saw that I continue to get a lot of traffic to the Catalog of Patterns of Enterprise Application Architecture.

I put this together not long after writing the book, and it’s rather minimal.

I’ve changed the main catalog page to include the pattern intents.

I’ve also added deep links to the book on oreilly.com, so if you have a subscription to that, it will jump directly to that text.

In one example, its about “algorithmic” feeds in social media that promote posts that drive engagement.

Faced with these concerns, there is often a movement to restrict the use of algorithms, such as a recent activity in New York to restrict how social media networks generate feeds for children.

In my view, the restricting the use of algorithms and AI here isn't the right target.

A regulation that says a social media company should forego its “algorithm” for a reverse-chronological feed misses the fact that a reverse-chronological feed is itself an algorithm.

This is not to say that we should have laws saying that all software decisions need detailed explanations.

In one example, its about “algorithmic” feeds in social media that promote posts that drive engagement.

Faced with these concerns, there is often a movement to restrict the use of algorithms, such as a recent activity in New York to restrict how social media networks generate feeds for children.

In my view, the restricting the use of algorithms and AI here isn’t the right target.

A regulation that says a social media company should forego its “algorithm” for a reverse-chronological feed misses the fact that a reverse-chronological feed is itself an algorithm.

This is not to say that we should have laws saying that all software decisions need detailed explanations.

When writing a web application in Go or Java, HTML is commonly generated through templates, which contain small fragments of logic.

It turns out that test-driving HTML templates is easy; let's see how to do it in Go and Java.

case nil: // do nothing default: t.Fatalf("Error parsing html: %s", err) } } } source This code configures the HTML parser to have the right level of leniency for HTML, and then parses the HTML token by token.

Level 3: testing HTML behaviour In the story so far, we tested the behaviour of the HTML templates, by checking the structure of the generated HTML.

*?>", "") // strip all HTML tags: block elements html = replaceAll(html, "<[^>]*>", " ") // replace HTML character…

When writing a web application in Go or Java, HTML is commonly generated through templates, which contain small fragments of logic.

It turns out that test-driving HTML templates is easy; let's see how to do it in Go and Java.

This code configures the HTML parser to have the right level of leniency for HTML, and then parses the HTML token by token.

There is an HTML parser in the Go standard library, but it is too lenient: if we run it on our broken HTML, we don't get an error.

One way to do this is by running queries with the CSS selector language: it is a powerful language that allows us to select the elements that we care about from the whole HTML document.

When writing a web application in Go or Java, HTML is commonly generated through templates, which contain small fragments of logic.

It turns out that test-driving HTML templates is easy; let's see how to do it in Go and Java.

This code configures the HTML parser to have the right level of leniency for HTML, and then parses the HTML token by token.

There is an HTML parser in the Go standard library, but it is too lenient: if we run it on our broken HTML, we don't get an error.

One way to do this is by running queries with the CSS selector language: it is a powerful language that allows us to select the elements that we care about from the whole HTML document.

In this article, I would like to discuss some common problems and patterns you should consider when it comes to fetching data in your frontend applications.

To accelerate the initial data loading process, we'll explore strategies for avoiding Request Waterfall and implementing Parallel Data Fetching.

For applications that are limited in scope — with just a few pages and several data fetching operations — it's often practical and also recommended to maintain data fetching within the UI components.

The main reason to not use parallel data fetching is when we don't know what data needs to be fetched until we've already fetched some data.

In summary, we've already explored critical data fetchin…

Осваиваем многозадачное программирование на практике.

Тут прям детективная история приключилась.

В Go есть таймер (тип Timer ), а в нем — поле с каналом ( Timer.C ), в который таймер тикает спустя указанное время.

В коде стдлибы таймер создается так:Такая реализация привела к проблемам с time.After и Reset , от которых многие страдали.

И вот в Go 1.23 решили это исправить, для чего сделали канал в таймере небуферизованным:Вот только если вы посмотрите на фактический код, то канал-то остался буферизованным 😁Из комментариев к коммиту выясняется, что канал действительно остался буферизованным, но притворяется, что никакого буфера у него нет:Specifically, the timer channel has a 1-element buffer like it always has, but len(t.C) and cap(t.C) are sp…

Меняем емкость при нарезке.

Чем отличаются и как с ними работать.

Сколько можно запустить горутин и от чего это зависит.

Несколько приемов форматирования, о которых вы, возможно, не слышали.

➊ Закавыченная строкаИспользуйте %q , чтобы вывести строковое значение в кавычках.

➋ Названия полей структурыИспользуйте %+v , чтобы вывести названия полей структуры, а не только значения.

➌ Тип значенияИспользуйте %T , чтобы вывести тип значения.

В Go 1.23 (август 2024) появится цикл range по функциям.

Сделали ему конструктор и метод Set :Хорошо, а как теперь итерироваться по карте?

Стоило ли оно тогоСтоило ли добавлять в язык range-over-func?

С появлением дженериков в 1.18 по простоте языка был нанесен серьезный удар (вероятно, оправданный).

Ждут нас и корутины, и стримы, и паттерн-матчинг.

Урок по дженерикам в Go.

Раз уж мы заговорили о пустых значениях — вы же в курсе, что метод можно вызвать даже на пустом указателе?

type english struct { name string } // e может быть nil!

func ( e * english ) greet () { if e == nil { fmt .

Println ( "I'm nil" ) return } fmt .

Println ( "Hello" , e . name ) }

Интерфейсы и nil в GoВнутри Go переменная типа interface представлена как пара (type, value) , где value — конкретное значение, а type — тип этого значения (на самом деле все чуть сложнее, но совсем уж в дебри не будем погружаться).

Пока интерфейсной переменной не присвоено значение, у нее и type , и value равны nil , поэтому сама переменная считается равной nil :var ivar any // type == nil, value == nil // поэтому ivar == nil fmt .

Println ( ivar == nil ) // trueНо как только интерфейсной переменной присвоили значение, type перестает быть nil .

Println ( e == nil ) // true ivar = e // type == *english, value == nil // поскольку type != nil, то ivar != nil fmt .

Println ( ivar == nil ) // f…

Я начинаю серию коротких заметок о полезных функциях современного SQLite, про которые вы (возможно) не слышали.

Как вы наверняка знаете, SQLite обладает гибкой системой типов (за что некоторые даже называют его «джаваскриптом в мире СУБД»).

Вы можете хранить любые значения в столбцах любых типов: например, строки в INTEGER-столбце или бинарные данные в REAL-столбце.

Кто-то любит SQLite за эту гибкость, другие ненавидят за нее же.

Поэтому в какой-то момент авторы SQLite добавили «строгие» (STRICT) таблицы:Они проверяют типы так же, как традиционные СУБД вроде PostgreSQL или MySQL:Даже в строгой таблице можно объявить столбец как ANY — тогда в нем можно хранить значения любых типов.

Замыкания в Go используются повсеместно.

Они позволяют универсально использовать один и тот же инструмент для работы в разных ситуациях.

Вот, например, карта в пакете sync — sync.Map :Чтобы проитерироваться по карте, предусмотрен метод Range с такой сигнарутой:Но что делать, если мы хотим просуммировать все значения карты?

Кажется, Range не дает такой возможности.

Ну или использовать замыкание:

Cat does not implement Meower (method Meow has pointer receiver)