Part three on how we built a Compose based architecture with Mavericks in the Airbnb Android appBy: Eli Hart, Ben Schwab, and Yvonne WongTrio is Airbnb’s framework for Jetpack Compose screen architecture in Android. It’s built on top of Mavericks, Airbnb’s open source state management library for Jetpack. In this blog post series, we’ve been breaking down how Trio works to help explain our design decisions, in the hopes that other teams might benefit from aspects of our approach.We recommend starting with Part 1, about Trio’s architecture, and then reading Part 2, about how navigation works in Trio, before you dive into this article. In this third and final part of our series, we’ll discuss…

A feature platform that offers observability and management tools, allows ML practitioners to use a variety of data sources, while handling the complexity of data engineering, and provides low latency streaming.By: Varant Zanoyan, Nikhil Simha RaproluChronon allows ML practitioners to use a variety of data sources as inputs to feature transformations. It handles the complexity of data plumbing, such as batch and streaming compute, provides low latency serving, and offers a host of observability and management tools.Airbnb is happy to announce that Chronon, our ML Feature Platform, is now open source.We’re excited to be making this announcement along with our partners at Stripe, who are earl…

Part two on how we built a Compose based architecture with Mavericks in the Airbnb Android appBy: Eli Hart, Ben Schwab, and Yvonne WongIn the previous post in this series, we introduced you to Trio, Airbnb’s framework for Jetpack Compose screen architecture in Android. Some of the advantages of Trio include:Guarantees type safety when communicating across module boundaries in complex appsCodifies expectations about how ViewModels are used and shared, and what interfaces look like between screensAllows for stable screenshot and UI tests and simple navigation testingCompatible with Mavericks, Airbnb’s open source state management library for Jetpack (Trio is built on top of Mavericks)If you n…

A three part series on how we built a Compose based architecture with Mavericks in the Airbnb Android appBy: Eli Hart, Ben Schwab, Yvonne WongAt Airbnb, we have developed an Android framework for Jetpack Compose screen architecture, which we call Trio. Trio is built on our open-source library Mavericks, which it leverages to maintain both navigation and application state within the ViewModel.Airbnb began development of Trio more than two years ago, and has been using it in production for over a year and a half. It is powering a significant portion of our production screens in Airbnb’s Android app, and has enabled our engineers to create features in 100% Compose UI.In this blog post series, …

How Airbnb achieved a smooth and transparent migration from Buck to Bazel on iOS, with minimal interference to developer workflowsBy: Qing Yang, Andy BartholomewAt Airbnb, we are committed to providing the best experience for our engineers. To offer a cohesive and efficient build experience across all platforms, we’ve decided to adopt Bazel as our build system. Bazel is a robust build system widely utilized in the industry. In alignment with Airbnb’s tech initiatives, both our backend and frontend teams initiated the migration process to Bazel. In the first Bazel post, we start with our iOS development migrating from Buck to Bazel.We’ll describe the migration approach which involved two mai…

KDD (Knowledge and Data Mining) is a flagship conference in data science research. Hosted annually by a special interest group of the Association for Computing Machinery (ACM), it’s where you’ll learn about some of the most ground-breaking developments in data mining, knowledge discovery, and large-scale data analytics.Airbnb had a significant presence at KDD 2023 with two papers accepted into the main conference proceedings and 11 talks and presentations. In this blog post, we’ll summarize our team’s contributions and share highlights from an exciting week of workshops, panel discussions, and more.Deep learning and search rankingEven though search ranking is a problem that researchers have…

How we championed the CRM CI/CD framework integrating Salesforce DX, GIT, BUILDKITE and Vlocity for an enhanced, efficient and continuous delivery with high software quality.By: Sharda Kumari Pramod GavadeIntroductionThe CRM platform offers a robust suite of functionalities for building scalable applications with minimal reliance on complex coding. However, managing and deploying code and configurations within this ecosystem can be challenging, and the constantly evolving nature of the platform presents an extra layer of complexity. This can lead to slow deployment times, difficulty in balancing code and configuration (e.g. Apex classes and triggers vs. validation rules, page layouts), and …

By: Clark WrightIntroductionThese days, as the volume of data collected by companies grows exponentially, we’re all realizing that more data is not always better. In fact, more data, especially if you can’t rely on its quality, can hinder a company by slowing down decision-making or causing poor decisions.With 1.4 billion cumulative guest arrivals as of year-end 2022, Airbnb’s growth pushed us to an inflection point where diminishing data quality began to hinder our data practitioners. Weekly metric reports were difficult to land on time. Seemingly basic metrics like “Active Listings” relied on a web of upstream dependencies. Conducting meaningful data work required significant institutiona…

How Airbnb leverages ML/NLP to extract useful information about listings from unstructured text data to power personalized experiences for guests.By: Hongwei Li and Peng WangIntroductionAt Airbnb, it’s important for us to gather structured data about listings and better understand the data, so we can help Hosts provide great experiences for guests. For example, guests who work remotely need to know if a listing has a suitable workspace and reliable internet, while guests with children might need items like highchairs and cribs. However, not all listings clearly display these attributes, causing there to be a mismatch between what Hosts listings have and what guests are looking for.This is j…

My Journey to Airbnb — Helena ZarazuaGrowing from engineering apprentice to seasoned iOS developerLanguages have always come naturally to Helena Zarazua, who has used this skill to bring people together, whether by teaching English to Chinese businesspeople or by immersing American preschoolers in Spanish. Since then, Helena joined Airbnb through the Connect engineering apprenticeship program and has stayed on as a full-time engineer. She’s picked up new (programming) languages like Swift to specialize in iOS development, and works on features to create a world where anyone can belong anywhere.Read on to hear Helena’s story. from none other than Helena herself.And… action! Becoming my own m…

How Airbnb adopted SwiftUI in our iOS appBryn BodayleWhen constructing an app’s user interface (UI), the choice of framework is incredibly important. The right UI framework can make an app feel smooth, responsive, even delightful, while a UI framework that doesn’t match an app’s needs can make it feel sluggish and broken. This principle extends to developer experience as well; a UI framework with well-designed APIs can enable engineers to express themselves fluently, efficiently, and correctly, while one with the wrong abstractions or inconsistent APIs can make engineers’ jobs more difficult by slowing them down with unnecessary complexity.At Airbnb, we want our mobile apps to provide a wor…

An overview of Airbnb’s Data Framework for faster and more reliable read-heavy workloads.By: Sivakumar Bhavanari, Krish Chainani, Victor Chen, Yanxi Chen, Xiangmin Liang, Anton Panasenko, Sonia Stan, Peggy Zheng and Amre ShakimOverviewThe evolution of Airbnb and its tech stack calls for a scalable and reliable foundation that simplifies the access and processing of complex data sets. Enter Riverbed, a data framework designed for fast read performance and high availability. In this blog series, we will introduce Riverbed, highlighting its objectives, design, and features.Why was Riverbed CreatedThe growth of Airbnb has accelerated the number of databases we operate, the variety of data types…

Chronon — A Declarative Feature Engineering FrameworkA framework for developing production grade features for machine learning models. The purpose of the blog is to provide an overview of core concepts in Chronon.Nikhil Simha RaproluBackgroundAirbnb uses machine learning in almost every product, from ranking search results to intelligently pricing listings and routing users to the right customer support agents.We noticed that feature management was a consistent pain point for the ML Engineers working on these projects. Rather than focusing on their models, they were spending a lot of their time gluing together other pieces of infrastructure to manage their feature data, and still encounteri…

Liwei Guo, Vinicius Carvalho, Anush Moorthy, Aditya Mavlankar, Lishan ZhuThis is the second post in a multi-part series from Netflix. See here for Part 1 which provides an overview of our efforts in rebuilding the Netflix video processing pipeline with microservices. This blog dives into the details of building our Video Encoding Service (VES), and shares our learnings.Cosmos is the next generation media computing platform at Netflix. Combining microservice architecture with asynchronous workflows and serverless functions, Cosmos aims to modernize Netflix’s media processing pipelines with improved flexibility, efficiency, and developer productivity. In the past few years, the video team wit…

By Ricky Gardiner, Alex Hutter, and Katie LefevreSince our previous posts regarding Content Engineering’s role in enabling search functionality within Netflix’s federated graph (the first post, where we identify the issue and elaborate on the indexing architecture, and the second post, where we detail how we facilitate querying) there have been significant developments. We’ve opened up Studio Search beyond Content Engineering to the entirety of the Engineering organization at Netflix and renamed it Graph Search. There are over 100 applications integrated with Graph Search and nearly 50 indices we support. We continue to add functionality to the service. As promised in the previous post, we’…

Michael Lindon, Chris Sanden, Vache Shirikian, Yanjun Liu, Minal Mishra, Martin TingleyHave you ever encountered a bug while streaming Netflix? Did your title stop unexpectedly, or not start at all? In the first installment of this blog series on sequential testing, we described our canary testing methodology for continuous metrics such as play-delay. One of our readers commentedWhat if the new release is not related to a new play/streaming feature? For example, what if the new release includes modified login functionality? Will you still monitor the “play-delay” metric?Netflix monitors a large suite of metrics, many of which can be classified as counts. These include metrics such as the nu…

David J. Berg, Romain Cledat, Kayla Seeley, Shashank Srikanth, Chaoying Wang, Darin YuNetflix uses data science and machine learning across all facets of the company, powering a wide range of business applications from our internal infrastructure and content demand modeling to media understanding. The Machine Learning Platform (MLP) team at Netflix provides an entire ecosystem of tools around Metaflow, an open source machine learning infrastructure framework we started, to empower data scientists and machine learning practitioners to build and manage a variety of ML systems.Since its inception, Metaflow has been designed to provide a human-friendly API for building data and ML (and today AI…

The surprising and not so surprising benefits of generations in the Z Garbage Collector.By Danny Thomas, JVM Ecosystem TeamThe latest long term support release of the JDK delivers generational support for the Z Garbage Collector.More than half of our critical streaming video services are now running on JDK 21 with Generational ZGC, so it’s a good time to talk about our experience and the benefits we’ve seen. If you’re interested in how we use Java at Netflix, Paul Bakker’s talk How Netflix Really Uses Java, is a great place to start.Reduced tail latenciesIn both our GRPC and DGS Framework services, GC pauses are a significant source of tail latencies. That’s particularly true of our GRPC cl…

Evolving from Rule-based Classifier: Machine Learning Powered Auto Remediation in Netflix Data Platformby Binbing Hou, Stephanie Vezich Tamayo, Xiao Chen, Liang Tian, Troy Ristow, Haoyuan Wang, Snehal Chennuru, Pawan DixitThis is the first of the series of our work at Netflix on leveraging data insights and Machine Learning (ML) to improve the operational automation around the performance and cost efficiency of big data jobs. Operational automation–including but not limited to, auto diagnosis, auto remediation, auto configuration, auto tuning, auto scaling, auto debugging, and auto testing–is key to the success of modern data platforms. In this blog post, we present our project on Auto Reme…

By Jose FernandezToday, we are thrilled to announce the release of bpftop, a command-line tool designed to streamline the performance optimization and monitoring of eBPF applications. As Netflix increasingly adopts eBPF [1, 2], applying the same rigor to these applications as we do to other managed services is imperative. Striking a balance between eBPF’s benefits and system load is crucial, ensuring it enhances rather than hinders our operational efficiency. This tool enables Netflix to embrace eBPF’s potential.Introducing bpftopbpftop provides a dynamic real-time view of running eBPF programs. It displays the average execution runtime, events per second, and estimated total CPU % for each…

Michael Lindon, Chris Sanden, Vache Shirikian, Yanjun Liu, Minal Mishra, Martin Tingley1. Spot the DifferenceCan you spot any difference between the two data streams below? Each observation is the time interval between a Netflix member hitting the play button and playback commencing, i.e., play-delay. These observations are from a particular type of A/B test that Netflix runs called a software canary or regression-driven experiment. More on that below — for now, what’s important is that we want to quickly and confidently identify any difference in the distribution of play-delay — or conclude that, within some tolerance, there is no difference.In this blog post, we will develop a statistical…

by Moshe KolodnyIn this post, we’re excited to introduce SafeTest, a revolutionary library that offers a fresh perspective on End-To-End (E2E) tests for web-based User Interface (UI) applications.The Challenges of Traditional UI TestingTraditionally, UI tests have been conducted through either unit testing or integration testing (also referred to as End-To-End (E2E) testing). However, each of these methods presents a unique trade-off: you have to choose between controlling the test fixture and setup, or controlling the test driver.For instance, when using react-testing-library, a unit testing solution, you maintain complete control over what to render and how the underlying services and imp…

Liwei Guo, Anush Moorthy, Li-Heng Chen, Vinicius Carvalho, Aditya Mavlankar, Agata Opalach, Adithya Prakash, Kyle Swanson, Jessica Tweneboah, Subbu Venkatrav, Lishan ZhuThis is the first blog in a multi-part series on how Netflix rebuilt its video processing pipeline with microservices, so we can maintain our rapid pace of innovation and continuously improve the system for member streaming and studio operations. This introductory blog focuses on an overview of our journey. Future blogs will provide deeper dives into each service, sharing insights and lessons learned from this process.The Netflix video processing pipeline went live with the launch of our streaming service in 2007. Since then…

Holden Karau Elizabeth Stone Pedro Duarte Chris Stephens Pallavi Phadnis Lee Woodridge Mark Cho Guil Pires Sujay Jain Tristan Reid Senthilnathan Athinarayanan Bharath Mummadisetty Abhinaya Shetty Judit Lantos Amanuel Kahsay Dao Mi Mick Dreeling Chris Colburn and Agata GryzbekIntroductionEarlier this summer Netflix held our first-ever Data Engineering Forum. Engineers from across the company came together to share best practices on everything from Data Processing Patterns to Building Reliable Data Pipelines. The result was a series of talks which we are now sharing with the rest of the Data Engineering community!You can find each of the talks below with a short description of each, or you ca…

by Aditya Mavlankar, Zhi Li, Lukáš Krasula and Christos BampisHigh dynamic range (HDR) video brings a wider range of luminance and a wider gamut of colors, paving the way for a stunning viewing experience. Separately, our invention of Dynamically Optimized (DO) encoding helps achieve optimized bitrate-quality tradeoffs depending on the complexity of the content.HDR was launched at Netflix in 2016 and the number of titles available in HDR has been growing ever since. We were, however, missing the systematic ability to measure perceptual quality (VMAF) of HDR streams since VMAF was limited to standard dynamic range (SDR) video signals.As noted in an earlier blog post, we began developing an H…

Netflix was thrilled to be the premier sponsor for the 2nd year in a row at the 2023 Conference on Digital Experimentation (CODE@MIT) in Cambridge, MA. The conference features a balanced blend of academic and industry research from some wicked smart folks, and we’re proud to have contributed a number of talks and posters along with a plenary session.Our contributions kicked off with a concept that is crucial to our understanding of A/B tests: surrogates!Our first talk was given by Aurelien Bibaut (with co-authors Nathan Kallus, Simon Ejdemyr and Michael Zhao) in which we discussed how to confidently measure long-term outcomes using short term surrogates in the presence of bias. For example,…

A framework to identify the causal impact of successful visual components.By Billur Engin, Yinghong Lan, Grace Tang, Cristina Segalin, Kelli Griggs, Vi IyengarIntroductionAt Netflix, we want our viewers to easily find TV shows and movies that resonate and engage. Our creative team helps make this happen by designing promotional artwork that best represents each title featured on our platform. What if we could use machine learning and computer vision to support our creative team in this process? Through identifying the components that contribute to a successful artwork — one that leads a member to choose and watch it — we can give our creative team data-driven insights to incorporate into th…

by Jun He, Yingyi Zhang, and Pawan DixitIncremental processing is an approach to process new or changed data in workflows. The key advantage is that it only incrementally processes data that are newly added or updated to a dataset, instead of re-processing the complete dataset. This not only reduces the cost of compute resources but also reduces the execution time in a significant manner. When workflow execution has a shorter duration, chances of failure and manual intervention reduce. It also improves the engineering productivity by simplifying the existing pipelines and unlocking the new patterns.In this blog post, we talk about the landscape and the challenges in workflows at Netflix. We…

Adam Obeng | Data Scientist, Data Platform Science; J.C. Zhong | Tech Lead, Analytics Platform; Charlie Gu | Sr. Manager, EngineeringWriting queries to solve analytical problems is the core task for Pinterest’s data users. However, finding the right data and translating an analytical problem into correct and efficient SQL code can be challenging tasks in a fast-paced environment with significant amounts of data spread across different domains.We took the rise in availability of Large Language Models (LLMs) as an opportunity to explore whether we could assist our data users with this task by developing a Text-to-SQL feature which transforms these analytical questions directly into code.How T…

Leif Sigerson | Sr. Data Scientist; Wendy Matheny | Sr. Lead Public Policy Manager;User engagement is a critical signal used by Pinterest and other online platforms to determine which content to show users. However, it is widely known that optimizing purely for user engagement can surface content that is low-quality (e.g., “clickbait”), or even harmful. Our CEO, Bill Ready, explains that if we’re not careful, content ranking can surface the “car crash we can’t look away from”. On the other hand, “if you ask somebody after they saw the crash, ‘you want to see another one?’, the vast majority of people will say ‘Goodness no’”.In this blog, we will discuss Non-Engagement Signals, a critical co…

Adopted by Pinterest multiple user facing surfaces, Ads, and Board.Jianjin Dong | Staff Machine Learning Engineer, Content Quality; Michal Giemza| Machine Learning Engineer, Content Quality; Qinglong Zeng | Senior Engineering Manager, Content Quality; Andrey Gusev | Director, Content Quality; Yangyi Lu | Machine Learning Engineer, Home Feed; Han Sun | Staff Machine Learning Engineer, Ads Conversion Modeling; William Zhao | Software Engineer, Boards Foundation, Jay Ma | Machine Learning Engineer, Ads Lightweight RankingLinkSage: Graph Neural Network based model for Pinterest off-site content semantic embeddingsBackgroundPinterest is the visual inspiration platform where Pinners come to searc…

Monil Mukesh Sanghavi | Software Engineer, Real Time Analytics Team; Xiao Li | Software Engineer, Real Time Analytics Team; Ming-May Hu | Software Engineer, Real Time Analytics Team; Zhenxiao Luo | Software Engineer, Real Time Analytics Team; Kapil Bajaj | Manager, Real Time Analytics TeamAt Pinterest, one of the pillars of the observability stack provides internal engineering teams (our users) the opportunity to monitor their services using metrics data and set up alerting on it. Goku is our in-house time series database providing cost efficient and low latency storage for metrics data. Underneath, Goku is not a single cluster but a collection of sub-service components including:Goku Short…

Yulin Lei | Senior Machine Learning Engineer; Kaili Zhang | Staff Machine Learning Engineer; Sharare Zahtabian | Machine Learning Engineer II; Randy Carlson | Machine Learning Engineer I; Qifei Shen | Senior Staff Machine Learning EngineerIntroductionPinterest strives to deliver high-quality ads and maintain a positive user experience. The platform aims to show ads that align with the user’s interests and intentions, while also providing them with inspiration and discovery. The Ads Engagement Modeling team at Pinterest plays a crucial role in delivering effective advertising campaigns and helping businesses reach their target audience in a meaningful way. The goal of the engagement modeling…

Sam Wang | Sr. Technical Program Manager; Joe Gordon | Sr. Staff Software EngineerAt Pinterest we are continuously looking for ways to improve our developer experience, and we have recently shipped AI-assisted development for everyone while balancing safety, security, and cost. In this blog post, we share our journey of unlocking AI-assisted development, from the initial idea to the General Availability (GA) stage. Join us as we delve into the opportunities, challenges, and successes we encountered along the way.Like many companies, we initially disallowed the use of Large Language Models (LLMs) until we thoroughly evaluated their legal and security implications. During that time, many engi…

Jeremy Krach | Staff Security Engineer, Platform SecurityBackgroundSeveral years ago, Pinterest had a short incident due to oversights in the policy delivery engine. This engine is the technology that ensures a policy document written by a developer and checked into source control is fully delivered to the production system evaluating that policy, similar to OPAL. This incident began a multi-year journey for our team to rethink policy delivery and migrate hundreds of policies to a new distribution model. We shared details about our former policy delivery system in a conference talk from Kubecon 2019.At a high level, there are three important architectural decisions we’d like to bring attent…

Author: Cathy Qian, Aayush Mudgal, Yinrui Li and Jinfeng ZhuangImage from https://unsplash.com/photos/w7ZyuGYNpRQIntroductionAt Pinterest, our mission is to bring everyone the inspiration to create a life they love. People often come to Pinterest when they are considering what to do or buy next. Understanding this evolving user journey while balancing across multiple objectives is crucial to bring the best experience to Pinterest users and is supported by multiple recommendation models, with each providing real-time inference with an overall latency of 200–300 milliseconds. In particular, our machine learning powered ads ranking systems are trying to understand users’ engagement and convers…

A Journey from GBDT to Multi-Task Ensemble DNNAayush Mudgal | Senior Machine Learning Engineer, Ads Ranking Conversion Modeling; Han Sun | Senior Machine Learning Engineer, Ads Ranking Conversion Modeling; Matt Meng | Senior Machine Learning Engineer, Ads Ranking Conversion Modeling; Runze Su | Machine Learning Engineer II, Ads Ranking Conversion Modeling; Jinfeng Zhuang | Staff Machine Learning Engineer, Ads Ranking Conversion ModelingIn this blog post, we will share how we improved Pinterest’s conversion optimization performance by leveraging Deep Neural Networks (DNN), Multi-Task Learning (MTL), state-of-the-art feature interaction modules, in-model ensemble techniques, and user sequence…

Rajath Prasad, Senior Engineering ManagerPinterest serves more than 480M monthly users and has grown to be a global destination for visual inspiration. As Pinterest has grown, so have our storage requirements. In 2020, anticipating the growing needs of the business and to simplify our storage offerings, we decided to consolidate our different key-value systems in the company into a single unified service called KVStore. While KVStore was the client facing abstraction, we also built a storage service called Rockstorewidecolumn: a wide column, schemaless NoSQL database built using RocksDB. This blog post goes into the details of how we built this massively scalable, highly available wide colu…

🔥Pinterest Engineering had a hallmark year 🔥From building new ad formats to launching industry-first inclusive AI technology, Pinterest launched more products in 2023 than in any year in our history. Our Pinterest Engineering Blog goes deeper into the technical learnings and insights behind many of these launches. As we wrap up 2023 and look forward to 2024, we’re sharing a recap of the most-read eng blogs of the year:Building for Inclusivity: The Technical Blueprint of Pinterest’s Multidimensional DiversificationPinterest is now on HTTP/3Lessons from debugging a tricky direct memory leakMLEnv: Standardizing ML at Pinterest Under One ML Engine to Accelerate InnovationPinCompute: A Kubernete…

Better performance, lower cost and less code complexityXiao Li, Kapil Bajaj, Monil Mukesh Sanghavi and Zhenxiao LuoIntroductionIn the dynamic arena of real-time analytics, the need for precision and speed is non-negotiable. Pinterest’s real-time metrics asynchronous data processing pipeline, powering Pinterest’s time series database Goku, stood at the crossroads of opportunity. The mission was clear: identify bottlenecks, innovate relentlessly, and propel our real-time analytics processing capabilities into an era of unparalleled efficiency.BackgroundThe Goku-Ingestor is an asynchronous data processing pipeline that performs multiplexing of metrics data. It performs data validation, denylis…

Improving Efficiency Of Goku Time Series Database at Pinterest (Part — 1)Monil Mukesh Sanghavi, Kapil Bajaj, Ming-May Hu, Xiao Li and Zhenxiao LuoIntroductionAt Pinterest, one of the pillars of the observability stack provides internal engineering teams (our users) the opportunity to monitor their services using metrics data and set up alerting on it. Goku is our in-house time series database providing cost efficient and low latency storage for metrics data. Underneath, Goku is not a single cluster but a collection of sub-service components including:Goku Short Term (in-memory storage for the last 24 hours of data and referred to as GokuS)Goku Long Term (ssd and hdd based storage for older …

Jeff Xiang | Software Engineer, Logging PlatformVahid Hashemian | Software Engineer, Logging PlatformJesus Zuniga | Software Engineer, Logging PlatformAt Pinterest, data is ingested and transported at petabyte scale every day, bringing inspiration for our users to create a life they love. A central component of data ingestion infrastructure at Pinterest is our PubSub stack, and the Logging Platform team currently runs deployments of Apache Kafka and MemQ. Over the years, operational experience has taught us that our customers and business would greatly benefit from a unified PubSub interface that the platform team owns and maintains, so that application developers can focus on application l…

[...]

Read More...

The post Building new custom silicon for Meta’s AI workloads appeared first on Engineering at Meta.

[...]

Read More...

The post Introducing the next-gen Meta Training and Inference Accelerator appeared first on Engineering at Meta.

Bandwidth estimation (BWE) and congestion control play an important role in delivering high-quality real-time communication (RTC) across Meta’s family of apps. We’ve adopted a machine learning (ML)-based approach that allows us to solve networking problems holistically across cross-layers such as BWE, network resiliency, and transport. We’re sharing our experiment results from this approach, some of [...]

Read More...

The post Optimizing RTC bandwidth estimation with machine learning appeared first on Engineering at Meta.

Systems and application logs play a key role in operations, observability, and debugging workflows at Meta. Logarithm is a hosted, serverless, multitenant service, used only internally at Meta, that consumes and indexes these logs and provides an interactive query interface to retrieve and view logs. In this post, we present the design behind Logarithm, and [...]

Read More...

The post Logarithm: A logging engine for AI training workflows and services appeared first on Engineering at Meta.

Marking a major investment in Meta’s AI future, we are announcing two 24k GPU clusters. We are sharing details on the hardware, network, storage, design, performance, and software that help us extract high throughput and reliability for various AI workloads. We use this cluster design for Llama 3 training. We are strongly committed to open [...]

Read More...

The post Building Meta’s GenAI Infrastructure appeared first on Engineering at Meta.

Slow build times and inefficiencies in packaging and distributing execution files were costing our ML/AI engineers a significant amount of time while working on our training stack. By addressing these issues head-on, we were able to reduce this overhead by double-digit percentages. In the fast-paced world of AI/ML development, it’s crucial to ensure that our [...]

Read More...

The post Improving machine learning iteration speed with faster application build and packaging appeared first on Engineering at Meta.

At Meta, the quest for faster model training has yielded an exciting milestone: the adoption of Lazy Imports and the Python Cinder runtime. The outcome? Up to 40 percent time to first batch (TTFB) improvements, along with a 20 percent reduction in Jupyter kernel startup times. This advancement facilitates swifter experimentation capabilities and elevates the [...]

Read More...

The post Lazy is the new fast: How Lazy Imports and Cinder accelerate machine learning at Meta appeared first on Engineering at Meta.

What’s going on with generative AI (GenAI) at Meta? And what does the future have in store? In this episode of the Meta Tech Podcast, Meta engineer Pascal Hartig (@passy) speaks with Devi Parikh, an AI research director at Meta. They cover a wide range of topics, including the history and future of GenAI and the most [...]

Read More...

The post How Meta is advancing GenAI appeared first on Engineering at Meta.

HawkEye is the powerful toolkit used internally at Meta for monitoring, observability, and debuggability of the end-to-end machine learning (ML) workflow that powers ML-based products. HawkEye supports recommendation and ranking models across several products at Meta. Over the past two years, it has facilitated order of magnitude improvements in the time spent debugging production issues. [...]

Read More...

The post AI debugging at Meta with HawkEye appeared first on Engineering at Meta.

Meta is building for the future of AI at every level — from hardware like MTIA v1, Meta’s first-generation AI inference accelerator to publicly released models like Llama 2, Meta’s next-generation large language model, as well as new generative AI tools like Code Llama. Delivering next-generation AI products and services at Meta’s scale also requires [...]

Read More...

The post Watch: Meta’s engineers on building network infrastructure for AI appeared first on Engineering at Meta.

Olivia Wu, Meta’s Technical Lead for Infra Silicon, discusses the design and development of Meta’s first-generation AI inference accelerator. [...]

Read More...

The post How Meta is creating custom silicon for AI appeared first on Engineering at Meta.

Meta presents Chakra execution traces, an open graph-based representation of AI/ML workload execution, laying the foundation for benchmarking and network performance optimization. Chakra execution traces represent key operations, such as compute, memory, and communication, data and control dependencies, timing, and resource constraints. In collaboration with MLCommons, we are seeking industry-wide adoption for benchmarking. Meta open [...]

Read More...

The post Using Chakra execution traces for benchmarking and network performance optimization appeared first on Engineering at Meta.

We’re introducing Arcadia, Meta’s unified system that simulates the compute, memory, and network performance of AI training clusters. Extracting maximum performance from an AI cluster and increasing overall efficiency warrants a multi-input system that accounts for various hardware and software parameters across compute, storage, and network collectively. Arcadia gives Meta’s researchers and engineers valuable insights [...]

Read More...

The post Arcadia: An end-to-end AI system performance simulator appeared first on Engineering at Meta.

[...]

Read More...

The post Code Llama: Meta’s state-of-the-art LLM for coding appeared first on Engineering at Meta.

[...]

Read More...

The post Meta Connect 2023: September 27 – 28 appeared first on Engineering at Meta.

As engineers working at Spotify, we frequently find ourselves explaining our robust data platform to fellow professionals who are contemplating [...]

The post Data Platform Explained appeared first on Spotify Engineering.

TL;DR We summarize the findings in our recent paper, Schultzberg, Ankargren, and Frånberg (2024), where we explain how Spotify’s decision-making [...]

The post Risk-Aware Product Decisions in A/B Tests with Multiple Metrics appeared first on Spotify Engineering.

Introduction At Spotify, we’re dedicated to delivering a unified experience to our customers — which can sometimes be at odds [...]

The post Applying the Facade Pattern on Spotify for Artists appeared first on Spotify Engineering.

Each year, we aim to elevate the Spotify Wrapped experience for our users, crafting captivating data stories and pushing the [...]

The post Exploring the Animation Landscape of 2023 Wrapped appeared first on Spotify Engineering.

TL;DR Let’s cap the year by putting a spotlight on some of the valuable work people outside of Spotify are [...]

The post Q&A with the Maintainers of the Spotify FOSS Fund appeared first on Spotify Engineering.

Large sets of diverse data present several challenges for clustering, but through a novel approach that combines dimensionality reduction, recursion, and supervised machine learning, we’ve been able to obtain strong results. The post Recursive Embedding and Clustering appeared first on Spotify Engineering.

Sometimes a shiny new feature brings more harm than good. The reason is simple — application size. Any addition to the application — be it code for a new feature, an image resource for a new button or even support for a new localization — contributes to the increase of the application’s size.

The post The What, Why, and How of Mastering App Size appeared first on Spotify Engineering.

This week at KubeCon + CloudNativeCon in Chicago, the Cloud Native Computing Foundation announced that Spotify won their Top End User Award. The post Spotify Wins CNCF Top End User Award for the Second Time! appeared first on Spotify Engineering.

Spotify runs paid marketing campaigns across the globe on various digital ad platforms. Being efficient with our marketing budget is critical for maximizing the return on ad spend.

The post How We Automated Content Marketing to Acquire Users at Scale appeared first on Spotify Engineering.

For the past decade, Spotify has used approximate nearest-neighbor search technology to power our personalization, recommendation, and search systems. These technologies allow engineers and researchers to build systems that recommend similar items (like similar tracks, artists, or albums) without needing to run slow and expensive machine learning algorithms in real time. Spotify led the pack [...]

The post Introducing Voyager: Spotify’s New Nearest-Neighbor Search Library appeared first on Spotify Engineering.

TL;DR It’s back! Last year, we created the Spotify FOSS Fund to help support the free and open source software projects we use at Spotify. We’re excited to announce that the fund has returned for 2023, and the recipients have been selected. This year, the fund’s 100,000 EUR are going to the following four projects: [...]

The post Announcing the Recipients of the 2023 Spotify FOSS Fund appeared first on Spotify Engineering.

What is “Exclude from your taste profile”? Are you a parent forced to put the Bluey theme song on repeat? Do you work from home and play lofi beats or ambient piano music? Do you fall asleep to peaceful ambient noises? Are you bummed out when these songs come up as your most listened to [...]

The post Exclude from Your Taste Profile appeared first on Spotify Engineering.

At Spotify, we have experimented with the Bazel build system since 2017. Over the years, the project has matured, and support for more languages and ecosystems have been added, thanks to the open source community and its maintainers at Google. In 2020, it became clear that the future of our client development required a unified [...]

The post Switching Build Systems, Seamlessly appeared first on Spotify Engineering.

How does Spotify manage a sprawling tech ecosystem made up of 500+ squads managing over 10,000 software components in production? Last November, Google Cloud distinguished engineer Kelsey Hightower met with Spotify chief architect Niklas Gustavsson at Spotify’s office in Gothenburg, Sweden, to talk about just that. Watch the video below to hear the two go [...]

The post Managing Software at Scale: Kelsey Hightower Talks with Niklas Gustavsson about Fleet Management appeared first on Spotify Engineering.

When we want to determine the causal effect of a product or business change at Spotify, A/B testing is the gold standard. However, in some cases, it’s not possible to run A/B tests. For example, when the intervention is an exogenous shock we can’t control, such as the COVID pandemic. Or when using experimental control [...]

The post How to Accurately Test Significance with Difference in Difference Models appeared first on Spotify Engineering.

Learn more about how Ripple is centralizing data and turning it into compelling insights to support business growth.

Introducing Snowflake Arctic, a top-tier enterprise focused LLM pushing the frontiers of cost-effective training and openness.

The post Snowflake Arctic: The Best LLM for Enterprise AI — Efficiently Intelligent, Truly Open appeared first on Snowflake.

If you’re a Snowflake customer using ServiceNow’s popular SaaS application to manage your digital workloads, data integration is about to get a lot easier — and less costly. Snowflake has announced the general availability of the Snowflake Connector for ServiceNow, available on Snowflake Marketplace. The connector provides immediate access to up-to-date ServiceNow data without the […]

The post Ensono Cuts Costs with Snowflake Connector for ServiceNow appeared first on Snowflake.

Learn how Magnite leveraged Snowgrid to migrate across regions and achieve business continuity.

The post Magnite’s Seamless Petabyte Scale Cross-Region Migration with Snowgrid appeared first on Snowflake.

Snowflake offers a promising solution to optimize cost without compromising efficiency.

The post How to Navigate the Costs of Legacy SIEMS with Snowflake appeared first on Snowflake.

Prioritizing a user-friendly developer experience for greater productivity.

The post Snowflake’s New Python API Empowers Data Engineers to Build Modern Data Pipelines with Ease appeared first on Snowflake.

The urgency around generative AI demands focus on first-party data. Here's how you can lean in.

The post How Marketers Can Enter the First-Party Data Era with Confidence appeared first on Snowflake.

Available to the open source community under an Apache 2.0 license.

The post Snowflake Launches the World’s Highest-Ranked Practical Text-Embedding Model for Retrieval use Cases appeared first on Snowflake.

In March, Snowflake announced exciting releases, including advances in AI and ML with new features in Snowflake Cortex, new governance and privacy features in Snowflake Horizon, and broader developer support with the Snowflake CLI. Read on to learn more about everything we announced last month. Snowflake Cortex LLM Functions – in public preview Snowflake Cortex […]

The post New Snowflake Features Released in March 2024 appeared first on Snowflake.

A new AI-powered SQL assistant that simplifies data analysis and maintains robust governance.

The post A Breakthrough AI-Powered SQL Assistant appeared first on Snowflake.

Expanding assurance program coverage in cloud security and automotive cybersecurity requirements

The post Snowflake Achieves C5 and TISAX Certifications, Expanding Compliance Scope in Germany appeared first on Snowflake.

One of our key objectives at Snowflake is to help enterprises fully unlock the value of their data, and an important aspect of that is making data both accessible and actionable to as many people as possible, regardless of their role or technical skill set. We’re announcing a new investment today that will transform how […]

The post Snowflake Ventures Invests in Coda to Turn Data into Action for Business Users appeared first on Snowflake.

Snowflake SDR managers benefit from fresh data, delivered frequently

The post How Snowflake Enhanced GTM Efficiency with Data Sharing and Outreach Customer Engagement Data appeared first on Snowflake.

In 2020, Snowflake announced a new global competition to recognize the work of early-stage startups building their apps — and their businesses — on Snowflake, offering up to $250,000 in investment as the top prize. Four years later, the Snowflake Startup Challenge has grown into a premiere showcase for emerging startups, garnering interest from companies […]

The post Snowflake Startup Challenge 2024: Announcing the 10 Semi-Finalists appeared first on Snowflake.

Data transformation is the process of converting data from one format to another, the “T” in ELT, or extract, load, transform, which enables organizations to get their data analytics-ready and derive insights and value from it. As companies collect more data, from disparate sources and in disparate formats, building and managing transformations has become exponentially […]

The post Snowflake Ventures Invests in Coalesce to Enable Simplified Data Transformation Development and Management Natively on the Data Cloud appeared first on Snowflake.

Bidirectional data sharing streamlines processes and accelerate decision-making.

The post Bidirectional Data Sharing Between Snowflake and Salesforce Data Cloud Is Now Generally Available appeared first on Snowflake.

Deep dive for using DNS with Cloudera Data Services on Azure

The post DNS Zone Setup Best Practices on Azure appeared first on Cloudera Blog.

Bucket Layouts in Apache Ozone

The post Apache Ozone – A Multi-Protocol Aware Storage System appeared first on Cloudera Blog.

AI technology is helping improve public safety, which can prevent another accident like the Houston Metro bus incident.

AI technology has created a number of new opportunities for the education sector, which is creating new career opportunities as well.

AI technology has significantly improved image recognition technology, which helps with modern security.

Unleash the power of new AI startups transforming legal solutions, surpassing ChatGPT's performance. Elevate your legal processes today!

AI can help photographers come up with better headshots, which is a huge opportunity for many professionals.

Lawyers are becoming more dependent on AI technology, which is helping them get better settlements for customers in ride-sharing accidents.

Big data technology has significantly changed the state of American politics.

AI technology is leading to major breakthroughs in telehealth, which will be very beneficial for healthcare providers across the world.

AI technology has led to major changes in mobile technology and has made it easier for mobile developers to monetize their apps.

More marketing agencies are embracing Hubspot and other platforms that use AI technology to offer better solutions to their clients.

AI can have a huge impact on the fight for racial equality.

Discover the secrets behind smarter saving strategies using advanced data analytics. Revolutionize your financial plan with data-driven insights!

AI is becoming more important in the realm of cybersecurity, which means that AI-driven website monitoring is more important as well.

The rise of artificial intelligence has impacted just about everything. Artificial intelligence is transforming industries from facial recognition to automated cars. It is even being used to create powerful apps. As a result, it’s now influencing music composition, graphic design, and writing as well. So, this brings us to the question, can AI be a […]

Why are startups increasingly aligning with artificial intelligence and the gig economy? It’s simple: AI and contractors offer them agility and precision in a competitive market. Startups are unique beasts striving to disrupt markets with limited resources but boundless innovation. To maintain this delicate balance, they often turn to AI and contractors for a boost. […]

Reading Time: 3 minutes Overview This Blog will see how we could use Spring WebFlux WebClient for making non-blocking HTTP requests. What Is the WebClient? Just put, the WebClient class which provides a common method for sending or receiving data from any local, intranet, or Internet resource which is identified by a URI. The WebClient class uses the WebRequest class which provides the access to resources. It is an interface that stands for Continue Reading

The post Spring WebFlux — WebClient – Duplicate – [#180397] appeared first on Knoldus Blogs.

Reading Time: < 1 minute The post An Introduction to Kafka’s Internals – Duplicate – [#159280] appeared first on Knoldus Blogs.

Machine learning has revolutionized email spam detection, offering sophisticated solutions to combat the continuous influx of unwanted emails. Deep learning techniques, with their advanced pattern recognition capabilities, have significantly improved spam detection accuracy, ensuring that users receive only relevant and valuable information in their inboxes. Explore how machine learning is enhancing email security and reducing spam effectively.

The post Using Machine Learning to Distinguish Between Spam and Legitimate Emails appeared first on WeCloudData.

Machine learning is revolutionizing traffic prediction, enhancing route planning and reducing congestion in urban commuting. Explore advanced algorithms like Uni-LSTM and BiLSTM for accurate forecasts, along with Google Maps' integration of deep learning for improved ETA accuracy. Discover the practical utility of machine learning in everyday life.

The post Navigating your way: Traffic Prediction with Machine Learning appeared first on WeCloudData.

Introduction In recent years, the landscape of employment has undergone a profound transformation, with remote work emerging as a viable and increasingly popular option for professionals across various industries. The advent of advanced technologies and shifting attitudes towards work-life balance have paved the way for remote work to become a mainstream phenomenon. In this blog, […]

The post Analyzing Remote Work Opportunities in Today’s North America Job Market appeared first on WeCloudData.

Explore how energy management is evolving with advanced solar power generation forecasting, enabling more efficient use of renewable resources and optimizing grid performance. Dive into the future of sustainable energy solutions.

The post Energy Management: Solar Power Generation Forecasting appeared first on WeCloudData.

Discover how machine learning is revolutionizing smart agriculture, enhancing crop yields, optimizing resources, and making farming more sustainable. Learn about the latest technologies and trends in agriculture.

The post Smart Agriculture: How Machine Learning is Helping Farming appeared first on WeCloudData.

Weather forecasting is a complex science that involves analyzing vast amounts of data from various sources, including satellites, weather stations, and radar systems.

The post More Accurate Predictions for Your Day: Machine Learning in Weather Forecasting appeared first on WeCloudData.

For those of you who read my last blog, I looked at how the data science job market had performed in 2023 – at least since August when the data collection began. The end of the calendar year provided a fitting moment to take a step back and assess what had transpired in the ensuing […]

The post Data Science Job Market Trends: Navigating the Shifts from 2023 to 2024 appeared first on WeCloudData.

Explore the transformative impact of machine learning on the entertainment industry, from personalized content recommendations to AI-driven music and film production, enhancing viewer experiences.

The post Machine Learning in Entertainment: Customizing Movie Recommendations appeared first on WeCloudData.

Online Shopping Redefined: Predicting Shopper Behavior with Machine Learning

The post Online Shopping Redefined: Predicting Shopper Behavior with Machine Learning appeared first on WeCloudData.

Revolutionize healthcare with machine learning for early disease detection. Explore cutting-edge solutions improving everyday health, ensuring timely interventions for a healthier future. #HealthTech #MachineLearning #DiseaseDetection

The post Enhancing Everyday Healthcare with Machine Learning: Early Disease Detection appeared first on WeCloudData.

Machine Learning Engineer: Navigate the evolving landscape of ML in 2024 with insights from WeCloudData's workshop. Explore the structured ML pipeline, data engineering essentials, model engineering nuances, ML Ops challenges, and diverse tools. Build robust ML systems and embark on a successful journey into the dynamic world of ML engineering.

The post Navigating the Path to Become a Machine Learning Engineer in 2024: A Step-by-Step Guide appeared first on WeCloudData.

"Discover Data Science, Engineering, and Analysis with WeCloudData. Uncover unique roles, skills, and tools in specialized bootcamps. Propel your career in decoding insights, building data infrastructure, and actionable intelligence

The post Different between Data Science, Engineering, and Analysis appeared first on WeCloudData.

Data Job: Elevate your career with a compelling resume tailored for success. Uncover the transformative power of OpenAI API in crafting dynamic content that captivates hiring managers. Explore the art of showcasing data skills, quantifying achievements, and aligning with job descriptions.

The post Crafting an Effective Resume with OpenAI appeared first on WeCloudData.

DevOps Engineer: Navigate the dynamic world of seamless software development in 2024. Uncover the role, skills, and knowledge essential for success. Craft your learning path with WeCloudData's curated DevOps Engineering program, exploring version control, CI/CD, containerization, orchestration, and Infrastructure as Code. Embark on a transformative journey toward mastering the art of DevOps Engineering for a thriving career in technology.

The post Cloud Engineering and DevOps: Insights for 2024 appeared first on WeCloudData.

Machine Learning revolutionizes fraud detection in the banking industry. Explore advanced algorithms shaping the future of credit card fraud detection for enhanced security and proactive risk management.

The post Fraud Detection in the Banking Industry: Leveraging Machine Learning for Credit Card Fraud Detection appeared first on WeCloudData.

Machine Learning Platforms (ML Platforms) have the potential to be a key component in achieving production ML at scale without large technical debt, yet ML Platforms are not often understood. This document outlines the key concepts and paradigm shifts that led to the conceptualization of ML Platforms in an effort to increase an understanding of these platforms and how they can best be applied.

Technical Debt and development velocity defined

Development Velocity

Machine learning development velocity refers to the speed and efficiency at which machine learning (ML) projects progress from the initial concept to deployment in a production environment. It encompasses the entire lifecycle of a ma…

I had the pleasure of being one of the speakers at GOTO Amsterdam 2023 where I talked about Why Most Data Projects Fail & How to Avoid It and I can’t wait to share this talk with you! Abstract: Unfortunately, the majority of data projects fail. Yet, they fail for the same reasons. Most […]

https://youtu.be/ayAGiPd2zq4?si=o0SHbsbT0-Pmdkqd This week on Unapologetically Technical, I had the wonderful pleasure of interviewing Gunnar Morling, the creator of the Billion Row Challenge and Senior Staff Software Engineer at Decodable. In this episode, we talk about why it is so important to stay in a position long enough to gain experience and see the success or failure of decisions. […]

https://youtu.be/ZJF7zLvH6-w?si=YHBTQ7B7XB2zwkrq It has been quite a while, but we’re finally back to a new episode this year! In this episode of Unapologetically Technical, I interview Tom Scott, the Founder and CEO of Streambased. Join us as we talk about distributed systems and how he created distributed or what we call the Monte Carlo simulations. We […]

https://youtu.be/0WAfevbtdeY?si=YbN7DhD3ApqoNhf3 The premier of my latest talk covering The State of Data Engineering. I go through the history of the industry to see where we’re heading. This starts with data warehousing and goes into data science. I finish off by showing how data engineering can avoid the same fate as data warehousing and data science. […]

https://youtu.be/UgzFYMDV36A?si=AOv16-nAJ2yuSlbS What better year to start the Christmas season than to drop a new episode of Unapologetically Technical! In this episode, I interview Stephane Derosiaux from Conduktor. We talk about his time evolving architectures and creating real-time systems at Auchan (grocery) and Adeo/Leroy Merlin (Home Improvement). We discuss the issues of British food and how […]

https://youtu.be/6JwMxovXUjg?si=ghQ5MMT6Cup9pIzu Another month, another episode! In this episode of Unapologetically Technical, I interview Matteo Merli the co-creator of Apache Pulsar and CTO of StreamNative. We talk about his interest in creating communication protocols and how that morphed into creating Apache Pulsar. He shares why Pulsar was created at Yahoo and how they convinced and managed […]

https://youtu.be/gmOxIAt0kJA?si=Q95ZCyEaIiNA7zLL Unapologetically Technical is finally back with a new episode! In this episode of Unapologetically Technical, I had the pleasure of interviewing Neil Avery from Liquidlabs. We discussed his experiences creating grid computing systems at major banks like Royal Bank of Scotland and Deutchebank, as well as his journey to founding a startup called Logscape […]

A joint letter to graph customers, the graph curious, and the Cypher community: Last week, the database world reached a significant milestone. The International Organization for Standardization (ISO) published GQL, a new database language standard designed for property graphs. GQL, which stands for Graph Query Language, is the first new ISO database language since the […]

PostgreSQL has the ability to authenticate user names and passwords using native credentials, though it lacks the ability to enforce specific password complexity and other advanced authentication policies without external identity services like LDAP or Kerberos. Trusted Language Extensions (TLE) for PostgreSQL (pg_tle), an open-source development kit used to build and package extensions, lets you […]

Amazon Relational Database Service (Amazon RDS) is a fully managed database service provided by AWS, enabling you to set up, operate, and scale relational databases in the cloud. Although Amazon RDS offers seamless database management, it’s critical to stay informed about pending maintenance actions that might impact database availability. Amazon RDS regularly undergoes maintenance activities […]

Speaker diarization, an essential process in audio analysis, segments an audio file based on speaker identity. This post delves into integrating Hugging Face’s PyAnnote for speaker diarization with Amazon SageMaker asynchronous endpoints. We provide a comprehensive guide on how to deploy speaker segmentation and clustering solutions using SageMaker on the AWS Cloud.

Amazon Managed Workflows for Apache Airflow (Amazon MWAA) is a managed orchestration service for Apache Airflow that you can use to set up and operate data pipelines in the cloud at scale. Apache Airflow is an open source tool used to programmatically author, schedule, and monitor sequences of processes and tasks, referred to as workflows. […]

Organizations across industries are using automatic text summarization to more efficiently handle vast amounts of information and make better decisions. In the financial sector, investment banks condense earnings reports down to key takeaways to rapidly analyze quarterly performance. Media companies use summarization to monitor news and social media so journalists can quickly write stories on […]

In this post, we discuss how to implement bucketing on AWS data lakes, including using Athena CTAS statement and AWS Glue for Apache Spark. We also cover bucketing for Apache Iceberg tables.

Amazon RDS Performance Insights is a powerful feature of Amazon Relational Database Service (Amazon RDS) that provides real-time and historical insights into your database performance. Whether you’re troubleshooting performance bottlenecks, identifying slow queries, or optimizing your system, Performance Insights is able to help. With Performance Insights, you gain a deeper understanding of your database’s behavior. […]

AWS recently announced Amazon Relational Database Service (Amazon RDS) for Db2 as a supported target for AWS Database Migration Service (AWS DMS). This addition allows you to move your database workloads from self-managed Db2 LUW databases to Amazon RDS for Db2 or another self-managed Db2 LUW instance. By using the migration capabilities of AWS DMS, […]

Building a cryptocurrency wallet requires the operation of a multitude of blockchain-specific components that enable critical functionality for the wallet. This includes but is not limited to provisioning and managing blockchain nodes, developing secure private key management solutions, building performant transaction management modules, and working with complex blockchain data pipelines. These components require complex security […]

Conversational artificial intelligence (AI) assistants are engineered to provide precise, real-time responses through intelligent routing of queries to the most suitable AI functions. With AWS generative AI services like Amazon Bedrock, developers can create systems that expertly manage and respond to user requests. Amazon Bedrock is a fully managed service that offers a choice of […]

The Amazon EU Design and Construction (Amazon D&C) team is the engineering team designing and constructing Amazon warehouses. The team navigates a large volume of documents and locates the right information to make sure the warehouse design meets the highest standards. In the post A generative AI-powered solution on Amazon SageMaker to help Amazon EU […]

Starting from release 6.14, Amazon EMR Studio supports interactive analytics on Amazon EMR Serverless. You can now use EMR Serverless applications as the compute, in addition to Amazon EMR on EC2 clusters and Amazon EMR on EKS virtual clusters, to run JupyterLab notebooks from EMR Studio Workspaces. EMR Studio is an integrated development environment (IDE) […]

In various industries, such as financial services, telecommunications, and healthcare, customers use a digital identity process, which usually involves several steps to verify end-users during online onboarding or step-up authentication. An example of one step that can be used is face search, which can help determine whether a new end-user’s face matches those associated with […]

Learn how to use AWS CloudFormation StackSets to automate and simplify data protection without duplicating existing backups on Amazon EBS, a high-performance block-storage service designed for Amazon EC2.

Amazon Aurora backs up cluster volumes automatically and retains restore data for the length of the backup retention period. Aurora automated backups are continuous and incremental, so you can restore to any point within the backup retention period from 1–35 days. If you need to retain backups for more than 35 days, you can take manual snapshots […]

We are excited to announce two new capabilities in Amazon SageMaker Studio that will accelerate iterative development for machine learning (ML) practitioners: Local Mode and Docker support. ML model development often involves slow iteration cycles as developers switch between coding, training, and deployment. Each step requires waiting for remote compute resources to start up, which […]

We introduced Amazon Bedrock to the world a little over a year ago, delivering an entirely new way to build generative artificial intelligence (AI) applications. With the broadest selection of first- and third-party foundation models (FMs) as well as user-friendly capabilities, Amazon Bedrock is the fastest and easiest way to build and scale secure generative […]

This post explores the new enterprise-grade features for Knowledge Bases on Amazon Bedrock and how they align with the AWS Well-Architected Framework. With Knowledge Bases for Amazon Bedrock, you can quickly build applications using Retrieval Augmented Generation (RAG) for use cases like question answering, contextual chatbots, and personalized search.

Amazon SageMaker HyperPod is purpose-built to accelerate foundation model (FM) training, removing the undifferentiated heavy lifting involved in managing and optimizing a large training compute cluster. With SageMaker HyperPod, you can train FMs for weeks and months without disruption. Typically, HyperPod clusters are used by multiple users: machine learning (ML) researchers, software engineers, data scientists, […]

Amazon Managed Workflow for Apache Airflow (Amazon MWAA) is a managed service that allows you to use a familiar Apache Airflow environment with improved scalability, availability, and security to enhance and scale your business workflows without the operational burden of managing the underlying infrastructure. In Airflow, Directed Acyclic Graphs (DAGs) are defined as Python code. […]

Organizations are facing ever-increasing requirements for sustainability goals alongside environmental, social, and governance (ESG) practices. A Gartner, Inc. survey revealed that 87 percent of business leaders expect to increase their organization’s investment in sustainability over the next years. This post serves as a starting point for any executive seeking to navigate the intersection of generative […]

Building data sources on Amazon Simple Storage Service (Amazon S3) can provide substantial benefits for analysis pipelines because it allows you to access multiple large data sources, optimize the curation of new ingestion pipelines, build artificial intelligence (AI) and machine learning (ML) models, providing customised experiences for customers and consumers alike. In this post, we […]

Amazon Personalize is excited to announce automatic training for solutions. Solution training is fundamental to maintain the effectiveness of a model and make sure recommendations align with users’ evolving behaviors and preferences. As data patterns and trends change over time, retraining the solution with the latest relevant data enables the model to learn and adapt, […]

Amazon Q feature development enables teams using Amazon CodeCatalyst to scale with AI to assist developers in completing everyday software development tasks. Developers can now go from an idea in an issue to a fully tested, merge-ready, running application code in a Pull Request (PR) with natural language inputs in a few clicks. Developers can […]

As we continue to innovate and add new features on behalf of our customers, you can now maintain and manage query plans in Amazon Aurora PostgreSQL-Compatible Edition. This feature enables you to identify the query plans contributing to the current database load and track the performance statistics of query plans over time. In this post, […]

We are excited to announce a new version of the Amazon SageMaker Operators for Kubernetes using the AWS Controllers for Kubernetes (ACK). ACK is a framework for building Kubernetes custom controllers, where each controller communicates with an AWS service API. These controllers allow Kubernetes users to provision AWS resources like buckets, databases, or message queues […]

In Part 1 of this series, we presented a solution that used the Amazon Titan Multimodal Embeddings model to convert individual slides from a slide deck into embeddings. We stored the embeddings in a vector database and then used the Large Language-and-Vision Assistant (LLaVA 1.5-7b) model to generate text responses to user questions based on […]

This is a guest post co-written with the leadership team of Iambic Therapeutics. Iambic Therapeutics is a drug discovery startup with a mission to create innovative AI-driven technologies to bring better medicines to cancer patients, faster. Our advanced generative and predictive artificial intelligence (AI) tools enable us to search the vast space of possible drug […]

As you navigate the complexities of cloud migration, the need for a structured, secure, and compliant environment is paramount. AWS Landing Zone addresses this need by offering a standardized approach to deploying AWS resources. This makes sure your cloud foundation is built according to AWS best practices from the start. With AWS Landing Zone, you eliminate the guesswork in security configurations, resource provisioning, and account management. It’s particularly beneficial for organizations looking to scale without compromising on governance or control, providing a clear path to a robust and efficient cloud setup. In this post, we show you how to generate customized, compliant IaC scripts …

I may need to switch back to using Windows. I’ve been on a Mac and/or Linux at work and home for the last decade or so. I think the last version of Windows I used was Vista. I’m far more comfortable in the CLI than the GUI. I understand Windows has WSL now. Where is that at from a capability perspective? Can I simply use WSL and Firefox and ignore all the other ‘Windows stuff’? As in have a couple of full screen spaces, and just flick between the two? For the odd GUI app I use, does WSL support a GUI? Don’t really want to need to learn a new OS if I don’t need to. submitted by /u/nydasco [link] [comments]

MS CS-data science concentration vs MS Business Data Science & Analytics. Both $24k. Both state unis. Thoughts for which could be most beneficial for long term growth? For flexibility in terms of career path? Currently in business intelligence. submitted by /u/Round-Industry9271 [link] [comments]

I feel like I’m overthinking this, but what’s the general opinion regarding Mage? In a recent post, someone asked about the current state of orchestration and got several good replies. I lead a small data team who just went through our evaluation process so I replied with my experience running Mage in production. However, my reply received far more downvotes than I was expecting. We’re 6 months into our deployment and it’s gone well so far, but the swift negative reaction has me second-guessing myself. We’re not so far along that we can’t pivot but it would be inconvenient. Did I miss something? submitted by /u/Lord_Lloydd [link] [comments]

Hi All, Hopefully this is the right place to ask these questions. I've been the BI Data tool admin for our company for 3 years - we are using Jedox as our BI tool - which is a multidimensional OLAP cube based database system. I'm originally an accountant, and because I was pretty good with excel, got thrown into this role once the previous person left. I have read about 100 pages of the Data Warehouse tool kit and some other books, but none really focus on what I need. So i tend to lose interest. With tools like Power BI and SQL, you can find blog after blog which go into great detail - with novel solutions to different problems - some of which you can do, learn, follow along with and then …

Just delivered a new Data Platform with massive success. 36 months of hard work, within a global team spreading across multiple timezone. After delivery, we got huge positive feedback but we also got overwhelmed with question around provenance, glossary info, metadata desc, process flow, freshess, etc Were data consumers want to plug in there process into our data streams and consume them, all in all fair questions. So that is the problem. Solution Data Catalogue solution. Me as a definitive geek, went and implement one as POC. In this case I used datahub. Issue i have. Getting pushback from leadership on this, and i am super confused about it. They prefer doing lineage in drawio in conflue…

I'm essentially looking for a way to run SQL like queries across our data, that consists of graph data in neo4j (a representation of users, groups they belong to, etc) and MongoDB data that contains richer data about those graph nodes. We want to be able to design queries that for example build a list of Users based on conditions that might exist in either the graph or the mongo data store. As a software engineer I'm a bit out of my depth when it comes to data engineering. Open question, is there something out there that will let us achieve this? or do I need to start considering building a relational database representation of our data? I'm a bit reluctant to go down the traditional relati…

Hi everyone, complete Newbie to data Engineering working in a junior role. What book recs do you have to master Microsoft SQL specifically. I’m currently practicing with sqlbolt, watched a bunch of YouTube videos but I think reading, might really help too. Any recs? Thanks in advance submitted by /u/rantedranter [link] [comments]

Hi everyone, I currently want to do a data pipeline for an app that users can insert any news url(tech blog site, news site,...) that they want to get notification if that site upload a new blog. What Im going to do is: - use scrapy to scrape all url that appear on the input url (my scale is going to be 1000s of url a day). Output of 1 scraped url is all the urls that appear on that site(example. Link to home, link to blogs, links to pages,...) - after scrape through 1000s of url I will store the output in S3 bucket (output of scraped url), I will process that to get what is the blogs url in the output and I will save it into database Ex. Reddit. 'com has 20 blog links - i will run that loo…

Hi Data Engineers, I hope to get some insight here as I am making a career transition decision. I have formerly been a systems administrator but I quit because of the on-call requirements. I am currently enrolled in University to get my Data Science degree and I just recently got interested about a bootcamp to become a Data Engineer. My question is do you have to be on-call as a Data Engineer? Asking the bootcamp they told me that most Data Engineer jobs do not require you to be on-call and that you work only during normal business hours. Thanks in advance for your answers! submitted by /u/motiontrading [link] [comments]

Learn how to build an efficient pipeline with Hydra and MLflowContinue reading on Towards Data Science »

Process huge volumes of data with Python and DuckDB — An AWS S3 example.Continue reading on Towards Data Science »

Choosing between frequentist and Bayesian approaches is the great debate of the last century, with a recent surge in Bayesian adoption in the sciences.Number of articles referring Bayesian statistics in sciencedirect.com (April 2024) — Graph by the authorWhat’s the difference?The philosophical difference is actually quite subtle, where some propose that the great bayesian critic, Fisher, was himself a bayesian in some regard. While there are countless articles that delve into formulaic differences, what are the practical benefits? What does Bayesian analysis offer to the lay data scientist that the vast plethora of highly-adopted frequentist methods do not already? This article aims to give…

The Landscape of Emerging AI Agent Architectures for Reasoning, Planning, and Tool Calling: A SurveyImage by AuthorMy team and I (Sandi Besen, Tula Masterman, Mason Sawtell, and Alex Chao) recently published a survey research paper that offers a comprehensive look at the current state of AI agent architectures. As co-authors of this work, we set out to uncover the key design elements that enable these autonomous systems to effectively execute complex goals.This paper serves as a resource for researchers, developers, and anyone interested in staying updated on the cutting-edge progress in the field of AI agent technologies.Read the full meta-analysis on ArxivA Shift Towards AgentsSince the l…

A tutorial to demonstrate how to use Burr, using simple OpenAI client calls to GPT4, and FastAPI to create a custom email assistant agent.The control flow of the agent application we’ll create. Image by author.In this tutorial, I will demonstrate how to use Burr, an open source framework (disclosure: I helped create it), using simple OpenAI client calls to GPT4, and FastAPI to create a custom email assistant agent. We’ll describe the challenge one faces and then how you can solve for them. For the application frontend we provide a reference implementation but won’t dive into details for it.Why are interactive agents applications a challenge?LLMs rarely achieve complex goals on their own, an…

RAG + Filtering with Metadata = Great Movies Recommendations 🍿Image of a person watching television. Image created in DALL·E 3.Table of ContentsRetrieving the dataUpload documents to PineconeCreating the self-querying retrieverCreating the chat modelDemonstrationLinksTry out Film Search for yourself (requires an OpenAI API key)Link to GitHub with codeRecently, I was browsing Max trying to find a movie to watch. Typically this involves browsing through the various lists presented to me, reading a few descriptions, and then picking something that sounds vaguely interesting. Sometimes it is a hit, sometimes not so much. I usually only touch the search function if I know the title of a film I a…

Understand and resolve circular imports, a common error occurring when two modules import each other simultaneously.Continue reading on Towards Data Science »

Feeling inspired to write your first TDS post? We’re always open to contributions from new authors.The fundamental principles of math that data scientists use in their day-to-day work may have been around for centuries, but that doesn’t mean we should approach the topic as if we only learn it once and then store away our knowledge in some dusty mental attic. Practical approaches, tools, and use cases evolve all the time—and with them comes the need to stay up-to-date.This week, we’re thrilled to share a strong lineup of recent math and stats must-reads, covering a wide range of questions and applications. From leveraging (very) small datasets to presenting linear regressions in accessible, …

A 5-step Project Management Framework for Data ScienceThis article is part of a larger series on Full Stack Data Science. In the previous post, I introduced the idea of a full-stack data scientist and the 4 hats it entails. In this article, I will discuss the first of these four hats — the project manager (PM). While there are countless ways to approach data science project management, here I propose one possible framework and the PM’s role in executing it.Photo by Scott Blake on UnsplashData science projects often involve developing machine learning (ML) models to solve business problems. While this may seem commonplace in business today, it still comes with several risks.Namely, developin…

Understanding Long Short-Term Memory NetworksContinue reading on Towards Data Science »

A few practical tips on how to keep on learning during your daily jobContinue reading on Towards Data Science »

In Spring 2024, Monte Carlo earned both #1 in the Data Observability category and #1 in the Database Monitoring category, along with 14 additional awards.

Snowflake cost optimization efforts need to be right sized. Read how to get the most savings without investing too much time and sweat.

Leverage machine learning to proactively identify data and data pipeline anomalies so you can fix bad data before it impacts your analytics, AI and other data products.

Learn how the Aircall team uses Monte Carlo's data observability solution to maintain their focus on self-serve infrastructure without compromising on data quality.

Data reliability on your radar? Get started with these 7 must-have data quality tests, including null value, numeric distribution, and freshness tests.

Understand what prompt engineering is and why it’s valuable—as well as a few other GenAI skills that should be at the top of your list.

Four data leaders from leading organizations give their practical advice on how to implement data mesh.

This 6 step data quality management framework has helped hundreds of organizations achieve higher quality data across their modern data stacks at scale.

Experts from PayNearMe, Mission Lane, and Fundbox, share their real strategies for operationalizing GenAI, and how data quality plays an important role.

Monte Carlo is rated #1, but we recognize there are alternatives. Here's how the experts evaluate data observability tools.

Spark lineage has been a blindspot for the data engineering industry so we set off to engineer a solution. Here's how we did it.

Getting data and people where they need to be at JetBlue by prioritizing data trust.

Learn why your data incident management process should happen at the data product level, how to manage incidents effectively, and who should be responsible along the way.

Getting started with data contracts? Here's how to implement data contracts in your data warehouse across your critical production tables.

In 2024, data teams are at a tipping point: jump onto the AI train or risk being left behind. But what does success look like? We brought the experts together to find out.

Airflow 2.9Буквально час назад вышла новая версия Apache Airflow — 2.9. В релизе очень много изменений и фиксов, а также новых фич:— поддержка Python 3.12— Listener API стабилизировался и его можно использовать в продакшене— Поддержка multiple executors (AIP-61 Hybrid Execution)— DatasetOrTimeSchedule, срабатывание по Timetable расписанию и Dataset событиям— @task.bash декоратор. Возвращаемое значение обёрнутой в этот декоратор функции будет выполнено в виде bash-командыПолный список изменений смотрите по ссылке.

У ребят из PostgresPro есть отличные, а главное бесплатные, книги по PostgreSQL: https://postgrespro.ru/education/books

Убийца DuckDB 🔫А вы уже видели аналог DuckDB от ребят из ClickHouse? Называется это чудо chDB. Представляет из себя встроенную OLAP базу данных под капотом которой пыхтит движок ClickHouse. Умеет в Parquet, Arrow, ORC и кучу других форматов, есть биндинги для Python, Go, Rust, NodeJS, Bun. Работает на Linux и MacOS, жаль Windows не поддерживает.Узнал я о существовании этой БД из новости о том, что chDB присоединяется к ClickHouse: https://auxten.com/chdb-is-joining-clickhouse/

Ребята, всем привет! 🤝Вас стало ещё больше и поэтому я хотел напомнить о существовании моего другого телеграм-канала с вакансиями в области DataEng, DataOps и DBA: https://t.me/dataeng_jobsВ этот канал автоматически попадают вакансии по вышеупомянутым категориям, классификация происходит через OpenAI API.Подписывайтесь, скоро источников с вакансиями станет ещё больше, и возможно именно вы найдёте лучшее для себя предложение — @dataeng_jobs

Курс про Apache Airflow бесплатноРешил выложить свой курс про Apache Airflow абсолютно бесплатно для всех: Apache Airflow 2.2: практический курсЗа то время что существует курс, Apache Airflow успел обрасти множеством новых фич, которые только предстоит покрыть в будущем, возможно в виде отдельных роликов на Ютуб или в виде статей у себя в блоге.В любом случае курс не потерял своей актуальности и может послужить неплохим введением для новичков и более опытных пользователей. Например, в курсе я подробно разбираю как развернуть у себя на сервере production-ready Airflow, а также настроить автодеплой дагов через GitHub Actions.Велком!

Всем привет!Я сделал курс по Luigi бесплатным для всех, велком изучать — Введение в Data Engineering: дата-пайплайныLuigi это компактный инструмент для построения зависимых между собой задач на базе нескольких сущностей: Task, Target. Он идеально подойдёт там, где Airflow кажется избыточным инструментом. В далёком 2017 году я писал небольшой обзорный пост на Luigi у себя в блоге: Строим Data Pipeline на Python и Luigi. С тех пор мало что изменилось в концепции инструмента, он по прежнему компактный и простой, именно в этом вся его прелесть.

В очередной раз наткнулся в сети на статью про эксплуатацию Apache Airflow в среде Kubernetes: What we learned after running Airflow on Kubernetes for 2 years. У автора развёрнут Airflow с 300 дагами и около 5 000 задачами. Преимущественно они запускают лёгкие таски по типу dbt-трансформаций, поэтому при использовании KubernetesExecutor столкнулись с тем, что инициализация Pod занимает больше времени чем выполнение самой задачи. Выбор в итоге пал на CeleryExecutor. В целом статья не столько про нюансы работы Airflow внутри Kubernetes-кластера сколько про опыт эксплуатации инструмента в их конкретном случае. Полезно.В нашей команде Airflow также является ключевым инструментом для выполнения …

Сейчас много шума вокруг DuckDB. Это компактная OLAP база данных на стероидах. На днях наткнулся на статью в рассылке про DuckDB и почему на неё стоит обратить внимание: What is DuckDB?Также возможно вас заинтересует сравнение polars (убийца pandas) и DuckDB: DuckDB vs Polars for Data Engineering

Привет! В рамках возобновления работы над своим старым проектом по агрегации вакансий с удалённым форматом работы, я запустил отдельный телеграм-канал, где в автоматическом режиме публикуются вакансии из категории Data Engineering и DataOps: https://t.me/dataeng_jobsПопадают они туда в процессе сбора и анализа вакансий с различных профильных сайтов типа Хабр Карьера, VC, DevBy и т.д. Классифицируются они через API сервиса OpenAI, проще говоря GPT4.Если вы в поиске работы, то моя инициатива вероятно поможет вам найти нужный оффер быстрее 🚀Подписывайтесь

Гайд о том как развернуть Apache Airflow локально через Kubernetes: https://blog.det.life/setting-up-apache-airflow-on-kubernetes-for-local-development-f873115fbe93

Экскурс в устройство современных OLAP баз данных в рамках ежегодного курса от Carnegie Mellon University — Advanced Database Systems: Modern OLAP Database Systems

Airflow Evolution at SnapНа платформе Medium появилась статья про эволюцию Apache Airflow в компании Snap: Airflow Evolution at SnapПреимущественно в статье речь идёт о работе с RBAC и масштабированием Airflow.Также помимо статьи, вы можете посмотреть на Ютубе доклад с прошедшего в 2023 году Airflow Summit: Airflow at Snap: Managing permissions, migrations and internal tools

📣One Day Offer для Data Engineer📣 10 февраля 🕤 Sportmaster Lab проводит One Day Offer для Data Engineer. One Day Offer от SM Lab — это отличная возможность пройти все этапы отбора и получить приглашение на работу всего за один день. SM Lab - аккредитованная ИТ-компания в составе группы компаний «Спортмастер». Мы находимся в поисках Middle Data Engineer, c хорошим знанием Python и SQL, с опытом работы от 2-х лет. Для нас важно наличие опыта использования экосистемы Hadoop (HDFS, Hive, Spark) и Apache AirFlow. 📍Немного про задачи:- Реализация ETL в Hadoop (с помощью Airflow). - Работа с различными источниками данных: Oracle, MS SQL, API личных кабинетов, микросервисы. - Батч и стримы с помощь…

Tim Berglund своего рода легенда в мире распределенных систем, популяризатор этой темы. Я познакомился с его творчеством через классный доклад про распределённые системы на Ютубе около 6 или 7 лет назад: Distributed Systems in One Lesson. Он какое-то время работал в компании Confluent (авторы Apache Kafka), где активно продвигал Кафку в массы. Сейчас же он работает в StarTree, cloud-решение на базе Apache Pinot. Его новый доклад как раз посвящен Apache Pinot, распределенному OLAP хранилищу.Собственно сам доклад в рамках GOTO Conference: Introduction to Real-Time Analytics with Apache PinotИ краткое и понятное видео что из себя представляет Apache Pinot от него же: What is Apache Pinot? (and…

Data Engineering for BeginnersНа ютуб-канале freeCodeCamp вышел курс Data Engineering Course for Beginners. Продолжительность курса 3 часа, в нём автор разбирает докер, базу данных PostgreSQL и работу с Airflow для написания несложного ETL-процесса. Для новичков в теме в самый раз! 🚀

Как построить DWH и интегрировать CI/CD в работу с данными? Узнайте на VK Data Meetup⏰23 мая, 15:00-19:00 по МСК📍Офис VK и онлайн⚡️Бесплатная регистрация: https://bit.ly/3Uk6jQm?erid=2Vtzqx8GCc8VK Data Meetup — серия событий для дата-инженеров, разработчиков, администраторов о практиках работы с данными на разных уровнях. Майский митап посвящен актуальным архитектурным паттернам платформ данных и технологиям, которые позволят их реализовать.Речь пойдет о DWH, Data Lake, Data LakeHouse и Data Mesh — где они применяются и с какими подводными камнями можно встретиться на практике. Узнаете, как Kubernetes незаметно, но уверенно захватывает индустрию, почему в коммьюнити все чаще говорят про Tri…

А вот сюда, давайте по SQL.

Все привет! В комментарии к этому посту кидайте все ресурсы про подготовку к собеседованию, шаблоны резюме, и тп. (Есть есть на английском, вообще замечательно). Я тоже скину свои заготовочки:)

А вот что получилось, пришли ребята из телеграм канала, рассказали про свою жизнь в NY, Из митапа на eventtribute пришло только двое (из 16 зарегистрированных), один из пришедших был вообще турист из Аргентины.Как рассказал выше в видео, это очень кайфово так приезжать в другой город и встречаться с людьми со схожими интересами и сферами, проговорили 3 часа обо всем, включая собесы, тулы, зарплаты и многое другое!Следующая встреча будет в Сиэтле 18 мая, пишите кто из Сиэтла в комментах!PS NY 🔥🔥🔥, точно центр мира, но если с 💰💰💰

Привет из New York!

Решили попробовать Linkedin Live Events первый раз. Роман Зыков проведет вебинар про свой проект на DuckDB, dbt, Pefect. Modern Data Stack в деле! https://www.linkedin.com/events/realusecaseformoderndatastackwi7185697388240502785/theater/

Самая важная информация для разработчика! Обязательно like поставьте, Surfalytics Shorts как ни как!

Как я получаю информацию, чтобы быть в теме IT и не толькоНедавно ко мне прилетел примерно такой вопрос от моего коллеги, Вовы Коноплева, CTO нашего банка для юрлиц, который ведет свой канал @konoplevthoughtsМне вопрос понравился и я решил ответ на него превратить в отдельный пост, где я расскажу про свои источники информации1) КнигиЯ отслеживаю важные книги по интересным мне темам. Для этого я ориентируюсь на новинки на платформе- Сайт онлайн-платформы O’Reilly, где есть книги разных издательств, а также видео и курсы- Сайт издательства Питер, где интересно отслеживать новинки, а потом читать их неисковерканные в английском варианте- Сайт издательства ДМК Пресс, где интересно отслеживать н…

Как классно качать свою карьеру? Все просто, учимся, собеседуемся, делаем пет проекты и вообще занимаем прокатившую позицию. Никита (я про него писал, про его success story из Бизнес Аналитика в Analytics Engineer) своим примером показывает, что возможно все. Недавно он нам показывал свой проект в Surfalytics, который он сделал для Paradime (ребята взяли dbt core и стали продавать дешевле dbt labs🤦‍♂️). В проекте он построил решение на Snowflake, dbt, sygma, hex и наковырял insights по NBA data set.И Paradime написали блог про проект Никиты https://www.paradime.io/blog/nikita-volynets-dbt-and-toronto-raptorsВообще это хорошая тактика использовать “меленьких” вендоров, чтобы пиарить их, а он…

Единственные papers я читаю это про современные хранилища или аналитические решения. Вот вам про Trino (PrestoDB): https://trino.io/Presto_SQL_on_Everything.pdfAbstractPresto is an open source distributed query enginethat supports much of the SQL analytics workload at Facebook.Presto is designed to be adaptive, flexible, and extensible. Itsupports a wide variety of use cases with diverse characteristics.These range from user-facing reporting applications with subsecond latency requirements to multi-hour ETL jobs that aggregate or join terabytes of data. Presto’s Connector API allowsplugins to provide a high performance I/O interface to dozensof data sources, including Hadoop data warehouses…

Недавно я писал про MAD 2024. Так же есть и видео где обсуждают текущую ситуацию на рынке и куда все идет - Matt Turck - The 2024 MAD Landscape (Special Show)Matt Turck joins us for a special chat about the newly released 2024 MAD (ML, AI, and Data) Landscape. There's a TON happening at light speed in the AI and data space right now, and Matt and the FirstMark crew have done a phenomenal job keeping a pulse on things.Другое видео вам может понравится про создание консалтинга или переквалификацию в консультанта или контрактера - Starting An Independent Consulting Company In 2024Я про освой опыт консалтинга уже рассказывал - Опыт создания аналитической консалтинг-компании в Северной Америке, …

Больше конверсий для рекламодателей — больше доход издателейВ Yandex Mobile Ads SDK 7 появились новые возможности для монетизации приложений. Во-первых, тестируется новый рекламный формат «Лента» — это десятки объявлений в одном месте. Пока формат доступен в бета-режиме для приложений на Android. Во-вторых, для полноэкранных форматов добавили новые механики: 🔸 AdPod — показ нескольких объявлений в одном рекламном месте.🔸 EndCard — интерактивный экран-пэкшот в конце объявления.🔸 SKOverlay (для iOS) — рекламируемое приложение можно установить прямо из объявления.Для Android добавили дебаг панель, это будет полезно для отладки рекламы в приложении.

How Apache Spark performs a fast count using the parquet metadata - хорошая статья для дата инженера.Ведь, не всегда нужно прочитать полностью весь датасет, что может быть дорого, но можно использовать метанные, как например, в этой статье.

Yandex Cloud запустила программу сертификации для специалистов по облачным технологиям. Сертификат Yandex Cloud Certified Engineer Associate подтверждает знания и навыки в шести областях: базовые облачные технологии, хранение и обработка данных, DevOps и автоматизация, бессерверные вычисления, информационная безопасность и биллинг. Онлайн-тестирование состоит из 65 вопросов. Для получения сертификата нужно набрать 70% или более правильных ответов. Экзамен соответствует международным стандартам и проводится с применением ИИ для прокторинга. Первый экзамен пройдет 11 апреля – записаться можно по ссылке.

Угадайте код RGB: тест для дизайнеров и не толькоМы тут, конечно, собрались, чтобы говорить про данные, аналитику, IT и прочие штуки на острие прогресса, но давайте честно: иногда хочется просто потыкать в кнопочки.Специально для этих целей принесли вам игру Guess My RGB. Суть проста: фон страницы окрашивается в рандомный цвет, код которого надо угадать, крутя ползунки, отвечающие за красный, зеленый и голубой цвета.Количество попыток не ограничено, так что тыкать в кнопочки можно бесконечно. Самое то, когда нужно немного разгрузить мозг.Делитесь успехами в комментариях — получается угадывать? 👀

Цвет в визуализации данныхДатавиз — область работы с данными, где заботиться надо не только о точности, но и эстетике. Чтобы графики выполняли свою функцию, они должны быть понятными, легко читаемыми и приятными глазу. Из-за этого, если нет опыта в дизайне, иногда может быть неясно, с какой стороны подходить к визуализации. К счастью, есть общие принципы, которые помогут разобраться, как надо и не надо делать, даже если у вас нет особых художественных способностей.О них рассказывает книга «Основы визуализации данных». На vc.ru выложили отрывок из нее про цвет и частые ошибки при работе с ним.🔜 Ошибка: слишком много цветов, каждый элемент раскрашен по-разному. Например, на графике много точе…

Все дороги ведут к базам данныхЕсть теория, что эволюция рано или поздно всех живых существ превращает в крабов. На самом деле только членистоногих, но это уже не так смешно звучит.А вот Тайлер Клотье, основатель Clockwork Labs, написал про то, что если вы придерживаетесь дата-ориентированного подхода в программировании, все, что вы делаете, рано или поздно превратится в базу данных. Этакий краб от мира данных, идеальная форма, к которой стремится эволюция.Компания Тайлера разработала SpacetimeDB и даже сделала на ее основе игру, так что можно предположить, что он в этом вопросе несколько пристрастен. Но его опыт позволил предложить интересный взгляд на данные.Для интересующихся добавили сс…

Курс по Product-Led Growth — бесплатно на 24 часаУ меня вся семья довольно технологичная. У меня дата-агентство, мой родной брат Костя — продакт-директор, который работал в VK и PandaDoc, а мой двоюродный брат Костя — генеральный директор одной известной российской BI-компании. Ничего себе? 😨Сейчас первый Костя живет в Лондоне. Я недавно был у него в гостях, и он рассказал мне, что опубликовал на Udemy свой курс по Product-Led Growth.Это подход, когда продукт сам привлекает, монетизирует и удерживает пользователей. Во многом благодаря ему SaaS-компании в секторе B2B последние годы так стремительно росли в оценке. Ему следуют и во многом обязаны своим успехом Slack, Figma, Canva и Dropbox.🔜 …

AARRR: пиратский фреймворк для маркетологовНачинаем серию постов про работу с данными в маркетинге! Первый — про фреймворк AARRR. Это метод построения системы метрик, который помогает разобраться, какие показатели и зачем нужно отслеживать.AARRR — это не пиратский вопль (хотя похоже), а аббревиатура, где каждая буква — этап жизненного цикла клиента.🔜 Аcquisition — привлечение. Клиент узнал о вас: нагуглил, ткнул на объявление, услышал рекламную интеграцию у блогера.На что смотреть? Показы объявлений, клики и их стоимость. Эффективность разных платформ (кто привел больше людей — VK или Tg?) и объявлений (какой баннер сработал лучше — с котиком или без?).🔜 Аctivation — активация. Клиент зарег…

Помогите стартапу найти доверие к даннымПредставьте: французский эдтех-стартап. Данных, которые надо анализировать, немало: соцсети, рекламные кабинеты, платежи, активность студентов. Все это собирается, складывается в базу и выводится на красивые дашборды на Tableau.🔜 Пока все стандартно, но вот первый сюжетный твист: раз в месяц стартап обращается к сторонней компании, которая берет все их данные и пересчитывает в табличке в Excel. Потому что дашборды — это, конечно, классно, но что они там рисуют — непонятно, а в табличке все четко и понятно.Представили? А нам и представлять не надо. Это один из наших клиентов, у которого сложилась довольно интересная ситуация с данными — MentorShow.🔜 Вт…

Как Apple следит за пользователямиApple часто подчеркивает, как много внимания уделяет безопасности и защите личных данных пользователей. Рекламные ролики на эту тему у них получаются отличные, например, вот такой и такой.Главной угрозой «прайваси» считаются сторонние приложения, которые собирают и непонятно куда сливают информацию. Команда исследователей из финского университета Aalto решила проверить, а как дела с родным ПО Apple, установленным почти на всех девайсах?В исследовании «участвовали» 8 дефолтных приложений: Safari, Siri, Family Sharing, iMessage, FaceTime, Location Services, Find My и Touch ID.💬 Оказалось, что все они, само собой, собирают данные. Запретить им это делать можно…

У нас есть GPT дома…и она написана на SQL.Да, именно так — разработчик Алексей Боленок написал генеративную нейросеть на SQL.Наверное, на этом пост можно закончить и просто дать ссылку на оригинал статьи в блоге Алексея и на перевод на Хабре.Но все-таки расскажем немного, что вас ждет.LLM способны генерировать логичные тексты на естественном языке за счет того, что предсказывают, в каком порядке слова должны идти друг за другом. Алексей показал, что происходит «под капотом» LLM, когда она это делает.Если совсем кратко:🔵Модель получает промпт и преобразует его список токенов.🔵Затем она возвращает массив кортежей — строк и чисел. В строках — токены (слова или их части), в числах — вероятность…

Деловое предложение: вы нам бусты, мы вам сторисыПравда ведь было бы классно никогда не пропускать последние новости и самые интересные посты, которые выходят на канале? ❤️💙 Чтобы эта мечта стала реальностью, предлагаем отдать свой голос за LEFT JOIN. Тогда мы сможем постить сторис и делиться разными полезными штуками еще и там. Спамить всем подряд не будем, но думаем, что этот новый (для нас) формат поможет нам стать ближе и еще больше делиться с вами крутым контентом.Кстати, пишите в комментариях — какие сторис от LEFT JOIN вы хотели бы видеть?

Что внутри рекомендательных алгоритмов?Рекомендательные алгоритмы некоторых сервисов могут вызвать легкий (или не легкий) экзистенциальный кризис.У вас же бывает такое, что смотрите, что вам предлагает купить маркетплейс или какие фильмы советует онлайн-кинотеатр, и задаетесь вопросом — кем вообще он меня считают? Чем я заслужил такие рекомендации? Почему они думают, что мне понравится это?С прошлого года завеса тайны немного приоткрылась. Правда, только для тех, кто пользуется российскими сервисами — их обязали раскрыть механизм работы рекомендательных алгоритмов.🔜 Это коснулось всех, у кого есть какая-то система рекомендации контента на основе действий пользователя — онлайн-магазинов и ки…

Data Heroes: старт 4-го сезона!После долгой паузы стартует 4-й сезон подкаста о супергероях в области аналитики — Data Heroes.У каждого сезона была своя тема, и этот — не исключение. На этот раз спикерами станут предприниматели и основатели онлайн-школ. Будем разговаривать про данные в эдтехе и рынок онлайн-образования: в России и за границей.🔜 Гость первого выпуска — Анатолий Карпов, один из основателей karpov.courses и автор курсов, с которых многие начинали свой путь в аналитике и IT. «Основы статистики» навсегда останутся в наших сердцах. ❤️Первый выпуск получился очень насыщенным:🔵 Путь от аналитика до фаундера: как выпускник психологического факультета начал работать с данными в VK и …

Киберпанк-романтика из X: часть 2Мальчик: знакомится с девушками в Tinder с помощью ChatGPT.Мужчина: заводит семейную доску в Notion вместе с женой.💬 Один юзер в Твиттере именно так и сделал и поделился своей идеей с общественностью. Они с женой используют эту доску для того, чтобы планировать домашние дела, составлять списки покупок, вести бюджет и хранить важную информацию вроде личных документов. Еще там есть такие разделы, как «Важные вещи, которые мы узнали друг о друге», «Долгосрочные надежды и цели» и «Лог воспоминаний о свиданиях». ❤️💬 В отдельной колонке у них ссылка на список одиноких друзей, которых они хотели бы познакомить друг с другом.Идея интересная, хотя, наверное, не все п…

SQL-полиглотСделал онлайн-утилиту, которая выполняет заданный запрос на любой СУБД от PostgreSQL до DuckDB (SQLite тоже есть, конечно).Удобно, чтобы быстро понять, поддерживает ли база тот или иной SQL-синтаксис.https://codapi.org/sql

Побег из карантина macOS и точный путь к расширениюСвежий релиз sqlpkg принес две приятные фичи:— Команда install автоматически убирает расширение из карантина macOS, чтобы можно было использовать без дополнительных приседаний.— Команда which печатает точный путь к установленному расширению, чтобы было проще загрузить его в SQLite.https://github.com/nalgeon/sqlpkg-cli/releases/0.2.0

Перенести SQLite-расширения с одной машины на другуюНачиная с релиза 0.1.0, sqlpkg сохраняет информацию об установленных пакетах в специальном файле (sqlpkg.lock, он же локфайл). Используйте его, чтобы установить расширения на новой машине одной командой:sqlpkg installhttps://github.com/nalgeon/sqlpkg-cli/releases/0.1.0

SQL-файлы в песочницеКогда я запустил Sqlime, как-то забыл поддержать загрузку из .sql файлов. Песочница умела загружать бинарные SQLite-базы из локального файла или по урлу, GitHub-гисты, но не sql-файлы.Наверно я полагал, что люди в основном будут копипастить SQL руками, так что файлы им не нужны. Возможно, не так уж и ошибался — никто не попросил эту возможность.Но все же странновато для SQL-песочницы не уметь загружать SQL-файлы. Так что теперь она умеет ツЗаодно обновил иконки. Использовал svgrepo.com — опенсорсный репозиторий иконок, очень рекомендую.

Одна из моих любимых мелких штук в Sqlime — возможность выделить и запустить фрагмент запроса. Полезно, когда «распутываешь» сложный запрос.К тому же, ее было несложно реализовать. Ах, если бы все фичи были такими 🙂

Для начала добавил в реестр те расширения, которые пробовал сам, получилось около 60 пакетов

Реестр и менеджер пакетов для SQLiteРасширений для SQLite становится все больше, и я решил, что пришло время сделать менеджер пакетов!Встречайте sqlpkg - это реестр пакетов с веб-интерфейсом и одноименный консольный менеджер пакетов. Надеюсь, вам пригодится.https://sqlpkg.org/Реестр пакетов работает отдельно от менеджера и не требует его. Достаточно найти нужный пакет на сайте, скачать под свою ОС и загрузить стандартными средствами (.load или load_extension).А менеджер пакетов работает отдельно от реестра и тоже не требует его :) Чтобы установить пакет, достаточно указать менеджеру на файл спецификации. Его можно захостить где угодно или даже разместить локально.

От создателей Академии Аналитиков Авито — открытый курс по прикладной статистике. Бесплатно, без регистрации и смс. Для тех, кто хочет научиться: – применять критерии Манна-Уитни, t-test, бутстрап, хи-квадрат;– использовать специализированные библиотеки Python;– разрешать спорные ситуации при анализе данных.– экспериментировать, выводить критерии, доказывать формулы. Уроки построены на примере реальных данных и показывают, как решаются задачи бизнеса с применением прикладной статистики. Рекомендуем.

🌐 Как с помощью искусственного интеллекта автоматизировать и упростить поиск работы в ИТ уже сегодня?Продолжаем серию полезных вебинаров для поиска работы в ИТ. В этот раз мы проведем мастер-класс, на котором покажем все самые полезные возможности использования ChatGPT при поиске работы.🔎 Наш сегодняшний эксперт, Мария Мамкина, Senior Product Manager с 9-летним международным опытом в IT. Автор Telegram канала (Mamkina_Tech) про продуктовый менеджмент и подготовку к собеседованиям в IT. На мастер классе вы узнаете как писать качественные промты в ChatGPT, которые помогут вам:🔵преобразовать обязанности из вашего резюме в достижения🔵адаптировать резюме под конкретную вакансию 🔵быстро и правиль…

Хотите использовать машинное обучение в бизнес-целях?На бесплатной конференции «OTUS CONF: Machine Learning» мы поговорим о трёх важных элементах машинного обучения. Обсудим генеративные модели нейросетей, модели обработки естественного языка и обработку временных рядов.На конференции выступят дата-сайентисты из крупных компаний: кандидаты технических, физико-математических и экономических наук.Вы узнаете:▫️Как современные генеративные модели применяют в бизнесе, и что «под капотом» нейросетей типа GPT▫️С какими ошибками вы можете столкнуться при обработке временных рядов и какие решения применять▫️Как бизнесу применять NLP-модели семейства BERT▫️Как собирать данные, чтобы дообучить NLP-мод…

😎 Публичный Гайд по повышению BI Adoption перевел в более читабельный PDF формат ☝️Размышлял над темой год и пора упаковать и переключится. Еще родился шаблон для воркшопа, чтоб самим провести анализ в команде. Кому эта тема интересна пишите и приходите на курс по BI стратегии в мае.Там это все обсудится и пошарится

📊 Хотите углубиться в Machine Learning или Data Science? Начните с изучения базовых методов парсинга и работы с html! Приходите на бесплатный практический урок от OTUS. Спикер Мария Тихонова — PhD Computer Science, Senior Data Scientist в SberDevices и преподаватель ВШЭ. 💻 На вебинаре вы: — освоите основные принципы работы c html в Python; — изучите основные инструменты парсинга; — научитесь скачивать различные типы данных с сайтов на сайты. 👉 Встречаемся 22 апреля в 18:00 мск в рамках курса «Machine Learning. Professional». Все участники вебинара получат специальную цену на обучение и консультацию от менеджеров OTUS! 🟢 Пройдите короткий тест прямо сейчас, чтобы посетить бесплатный урок: ht…

Запись стрима «Как проходит собеседование на продуктового аналитика в Авито?»Вместе с Вовой Камчаткиным, продуктовым аналитиком в компании inDrive, увидите, какие вызовы и задачи ждут вас и как к ним лучше подготовитьсяСамое интересное:Рассказ про опыт и вопросы: SQL, Python, ML, продуктовые кейсыПример задачи со сложными аналитическими подходами Техническая задача про кубик (теорвер)Продуктовый кейс на примере TelegramФидбек Вове по итогам собеседования по матрице компетенций аналитиков Авито

18 апреля в 18:00 мск приглашаем на День открытых дверей онлайн-магистратур по аналитике данных.Представители Практикума, РАНХиГС и ТГУ расскажут о трёх программах, на которые открыт набор в 2024:Дата-аналитика для бизнеса Финансовый анализ в бизнесеData Science в экономике (трек 1 или 2 года)Вы узнаете, что нужно для поступления, как проходит учёба и какие льготы получают студенты онлайн-программ. Участие бесплатное, но нужно зарегистрироваться.Реклама. ООО «Яндекс». ИНН 7736207543

🔥 Бесплатный интенсив по Python для начинающих аналитиков!Завтра в 19:00 по Мск пройдет бесплатный интенсив по теме: “RFM-анализ клиентской базы с помощью Pandas в Python”.Мы проводили такой интенсив в январе, но многие не успели на него записаться, а очень хотели — поэтому мы решили, почему бы не провести его еще раз 😍А еще он очень понравился участникам, и мы собрали много положительного фидбека 💫Что будем делать на интенсиве:✅ Проанализируем реальную клиентскую базу аптечной сети✅ Проведем EDA с помощью Pandas✅ Напишем скрипт для проведения RFM-анализа✅ Изучим несколько классных фишек Pandas✅ Сформулируем конкретные бизнес-выводы и предложения на основании проведенного анализаМы также ра…

Появились записи с A/B platform meetup от команды СберМаркета🟡Система автоматического расчёта А/В тестов. Рамиль Чермантеев, руководитель команды аналитиков-инженеров платформы экспериментов СберМаркета, рассказал, что автоматический расчет из себя представляет и с какими трудностями ребята столкнулись при его развитии.‌🔴Как привести эффекты от A/B-экспериментов к масштабу всей компании? Артем Дронов, аналитик АВ-платформы, Авито, поделился методологией приведения и оценки результатов экспериментов к масштабу всей компании.‌🔵Система офлайн-экспериментов. Полина Ревина, и.о. руководителя A/B-платформы в СберМаркете, рассказала о свитчбэк-тестах и тестах в магазинах, сплитование для которых д…

Как системному аналитику DWH попасть в Тинькофф? О чем спросят на собеседовании? Какие задачи предложат решать? Все ответы — на Tinkoff DWH Connect. В апреле пройдут три онлайн-мероприятия для системных аналитиков DWH. Уровень мидл и выше.Вот что будет: — Weekend Offer, 20 и 21 апреля. Можете попасть в команду Тинькофф за пару дней. Пройдете все этапы собеседования за выходные — и, если все понравится, оффер ваш. Посетите все три ивента или сразу приходите на собеседование. Зарегистрируйтесь до 17 апреля. Детали тут erid:2VtzquZhf7uРеклама. АО "Тинькофф Банк", ИНН 7710140679, лицензия ЦБ РФ № 2673

Читаю я тут пост "Build Lines, Not Dots". Ключевая мысль там о том, что доверие инвесторов по отношению к стартапу сильно зависит от восприятия инвесторами последовательного роста и ощущения динамики, сдобренной грамотным принятием решенийТо есть по сути надо создать картинку, что мы а) растим метрики б) этот рост обсуловлен нашим целеполаганием и действиямиА значит стартапер должен на любой стадии отношений уметь создавать сторилайн, который отображает ключевые точки роста компании, связывая их в линии. И вот это «связывание в линии» — важное качество не только для фаундеров, но и для аналитиков👨‍🏫 Можно заменить «инвестора» на «стейкхолдера». То есть любую персону, которой вы презентуете …

🔥 Word embedding: что это и как применяется в NLP 👉 Расскажет Мария Тихонова – PhD Computer Science, Senior Data Scientist в SberDevices и преподаватель ВШЭ. Встречаемся на бесплатном практическом уроке от OTUS, где вы: — узнаете, что такое векторные представления слов; — изучите алгоритм word2vec; — научитесь применять его на практике. Встречаемся 17 апреля в 18:00 мск в рамках курса «Natural Language Processing (NLP)». Доступна рассрочка на обучение! 💣 Пройдите короткий тест прямо сейчас, чтобы посетить бесплатный урок и получить запись: https://clck.ru/3A69M7Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru

🤖 AI и SQL: союзники или конкуренты в аналитике данных? 📊Оригинал: https://benn.substack.com/p/llms-shouldnt-write-sql от Benn Stancil Benn рассуждает о роли AI в аналитике и его взаимодействии с SQL. Ключевой вопрос - смогут ли LLM полноценно заменить SQL в качестве основного интерфейса для запросов к данным? 🤔Автор выделяет 2 типа анализа данных:1️⃣ "Пользовательский" - когда уже известны метрики, KPI, есть структура виджетов и дашбордов. Тут уже сейчас используются BI-tools типа drag-n-drop с SQL "под капотом"2️⃣ "Исследовательский" - разработка новых метрик и сложных ad-hoc запросов аналитиками в SQL/Python. Со сложными join и оконными функциями, часто не поверх витрин, а на базе raw da…

В штаб блока "Daily Banking" ищем Руководителя проектов для запуска портфельных кампаний на базе Self Service — автоматизированной CRM системы для формирования и запуска пилотов.Основные задачи: формирование и координация бэклога с задачами команд, запуск портфельных кампаний, анализ и подведение итоговых результатов; постановка задач команде data science и аналитики, координация разработки ИИ моделей для роста конверсии и эффектов.Вакансия для тех, кто знает рынок, понимает ключевые тренды и стратегии банков на карточном рынке страны.Подробные условия и отклик по ссылке.

🚀 Освойте мониторинг и управление производительностью в Spark 👉 Приходите на бесплатный практический урок от OTUS, где вы вместе с опытным экспертом разберете: — какие ключевые показатели производительности (KPIs) следует отслеживать для приложений Spark; — подходы и практики для настройки мониторинга в реальном времени в кластерах Spark; — инструменты и платформы для мониторинга и логирования; — стратегии для сбора, анализа и визуализации метрик и логов в приложениях Spark. 💻 Встречаемся 18 апреля в 20:00 мск в рамках курса «Spark Developer». Доступна рассрочка на обучение! 🔥 Пройдите короткий тест прямо сейчас, чтобы посетить бесплатный урок и получить запись: https://clck.ru/3A34FWРеклам…

Коллеги делятся прекрасным из IL рынка бихдаты!@ohmydataengineer

https://medium.com/intuit-engineering/how-intuit-data-analysts-write-sql-2x-faster-with-internal-genai-tool-c3b9d482208aВ продолжении прошлого пятничного мема, количество платформ и сервисов, которые за денюжку, подключиться к DWH и делать там запросики - увеличилось в 10 раз. И стоит это много, а вот поднять простенький https://huggingface.co/tsdocode/text-to-sql и натравить на мету - не, спасибо.В статье, кстати, описан второй подход и оч даже хорошие результаты.@ohmydataengineer

Тема недели в #it_memes

Очень долго смеялся и плакал 😳(ибо это все до боли знакомо)

https://www.astronomer.io/state-of-airflow/Астрономер выкатил репорт про текущее состояние Airflow. Если кратко - все хорошо у него, по скорость развития и контрибьюшенов опережает Spark и Kafka.Ссылку сначала увидел у @dataexplorers, а потом у себя в почте.@ohmydataengineer

https://clickhouse.com/blog/building-a-logging-platform-with-clickhouse-and-saving-millions-over-datadogЗанимательное чтиво про Кликхаус и как он используется для логов. Мяготка, с деталями и схемами.Не без налета саморекламы, конечно 😂@ohmydataengineer

https://mattturck.com/landscape/mad2024.pdfСтабильный гость этого канала - MAD 2024 - Machine Learning, AI & Data Landscape. @ohmydataengineer

https://boehs.org/node/everything-i-know-about-the-xz-backdoorВсю прошлую неделю (и скорее всего, текущую тоже), Tech часть интернета будет бухтеть про XZ уязвимость, или, как ее прозвали "Бекдор для всего интернета". 2 года подготовки и ребятам почти удалось, но один из специалистов заметил проблемки с перформансом ssh (работал на 500 ms дольше), пошел разбираться и наткнулся на очень много интересного.@ohmydataengineer

Пятничный юмор или как совет директоров попросил AI внедрить 😂 (true story)@ohmydataengineer

https://www.youtube.com/watch?v=QSui0KQ2rE4Пока гуглил по платформы для A/B тестов, наткнулся на вот такой хороший доклад от ребят из Flo про их Data Platform.Оказалось оч полезно и ознакомительно@ohmydataengineer

Нас скоро всех заменят 😄https://twitter.com/raunakdoesdev/status/1769066769786757375Если вы не поняли из скриншотов, Steven дал доступ к своему аккаунту софтинке по имени Devin (отсюда игра слов Steven + Devin -> Deven) и та успешна пофиксила баг, при этом после прочтения документации задала дополнительный вопрос поддержке =) Про Devin интернет трещит уже неделю - https://www.cognition-labs.com/introducing-devin@ohmydataengineer(p.s. напомнило последний сезон The Silicon Valley и бота Гилфойла)(p.s. 2: советую посмотреть вот это видео если вы вдруг начали переживать https://www.youtube.com/watch?v=80MPXoRHvK8 по этому поводу)

https://www.figma.com/blog/how-figmas-databases-team-lived-to-tell-the-scaleОчень удивительная история из технического блога Figma о том, как они скалировали свои базы данных. Поправочка: до 2020 у них был один инстанс Postgres вообще! 😳 Шардинг, партишенинг, вот это вся мяготка тут.@ohmydataengineer

💰Результаты опроса про зарплатуЗакончили с Арсеном обработку данных и дашборд по результатам опроса аналитиков. Мне нравится что получилось. Опрос прошли 323 человека, этого достаточно, чтобы накопать интересных фактов и оценить разницу доходов между разными уровнями должностей и направлениями.Вот, что я заметил:— 66% процентов опрошенных довольны или скорее довольны своей зарплатой, но при этом все опрошенные хотели бы получать примерно на 50 тысяч больше в независимости от своей удовлетворенности. — Для аналитиков данных каждый следующий уровень (Junior → Middle → Senior → Team lead) приносит по 100К дополнительного чистого дохода начиная с зп в 106К для Junior специалиста.— С количеством…

https://github.com/datacontract/cliКогда-то мы накидали какой-то свой темплейт дата контракта, и начали его встраивать в Data Hub + Great Expectations, написали немножко своей обвязки.А вот тут ребята продолжают развивать свой стандарт и к нему уже накрутили cli, которая может и контракт проверить как линтер, и даже в базы сходить и провалидировать что контракт соблюдается.@ohmydataengineer

А теперь точно пятничный юмор 😂Этот проект с Аэропортом будет мне в страшных снах приходить...(да-да, боль последних недель она такая)@ohmydataengineer

Data Apps Design pinned «Блог переехал 🌐 @data_apps»

Блог переехал 🌐 @data_apps

Channel name was changed to «Data Apps Design»

Channel name was changed to «data_apps»

✅ Как выбрать СУБД для аналитики? Мой список критериев для выбора Analytics Database🔵Performance and Scalability— Работа в периоды пиковых нагрузок (одновременные запросы от EL + dbt + BI + analysts)— Поддержка масштабируемости и scaling— Насколько адекватно время ответа на запросы (от простых select * from table limit 10 до сложных дашбордов)🔵Feature support— Поддержка semi-structured data (nested JSONs, MongoDB, event tracking)— Geospatial: GEO-joins (ST_Intersects), H3 library for geo-indexing— Адекватная поддержка Window functions (+ Qualify)— Простое создание окружений (Zero copy clone - DEV, TEST sandboxes)— Time travel, restore deleted data (UNDROP)🔵Security— PRIVILEGES management (r…

Как выбрать СУБД для аналитики?Привет! Предположим, что у вас есть:🟢 Целостное понимание потребностей бизнесаВключая требования к производительности, времени отклика, безопасности данных, перечень ключевых метрик (показателей) и формулы их расчета, и т.д.🟢 Возможность предлагать и оценивать альтернативные СУБД для решения задач бизнесаОбъективно, в заданных условиях, некоторые СУБД способны справляться значительно лучше других. Иначе говоря, имеют конкурентные преимущества.К сожалению, во многих случаях решение о том, какую СУБД использовать уже принято и не подлежит пересмотру: кем-то когда-то давно до вас по принципу "я работал с этим 5 лет назад", "у нас с ними партнерские отношения", "в…

👑 Особенности работы с External Data (на примере обменных курсов валют)⬜️Бизнес-задача:— Операции с контрагентами совершаются в около 15 разных валют— Есть необходимость пересчета финансовых показателей в разные валюты для отчетности— Обменные курсы актуальны на каждую отдельную дату (курс меняется)⬜️ Реализация:— Используется поставщик данных и его API (для примера это Open Exchange Rates)— Ежедневно несколько раз в течение дня (раз в 3 часа) делаются запросы на получение обменных курсов к каждой из 15 валют (Airflow)— Ответы в виде JSON сохраняются AS IS в S3 / Object storage— Эти файлы читаются на стороне DWH и формируется витрина обменных курсов (пар) в разрезе базовой валюты и даты⬜️ К…

Business Intelligence 101: Всё самое важное о BI инструментах🔸 Ключевые идеи BI— BI - это набор методов и инструментов для бизнес-анализа— BI упрощает доступ к данным в DWH— BI бесполезен без DWH (без данных бесполезны визуализации)— SQL по-прежнему актуален🔸 Основные возможности (features) BI— Семантическая модель: сущности, связи, формулы расчета метрик и правила агрегации— Визуальный конструктор запросов— Формирование информационных панелей (dashboards)— Публикация (sharing), рассылки, уведомления и алерты🔸 Варианты развертывания— SaaS / Managed app (Datalens)— Self-hosted (Metabase)— Hybrid (Superset / Preset)🔸 Администрирование— Production checklist (отказоустойчивость, надежность, мас…

🤯 Нерелевантные, демотивирующие и бессмысленные задачи🔻 Излишне затянувшееся общение с вендорами и провайдерами сервисовКак инженер - я должен сравнить, протестировать и выбрать самое релевантное решение в заданных условиях. Я даю заключение, какой сервис, с какими квотами и услугами необходим для решения задач.Дальнейшие шаги - переговоры, бумажные (электронные) процессы, согласования, подписания, оплаты, инвойсинг, юридические проверки и т.д. - это не относится к инженерной работе, этим должны заниматься все, кроме инженера.🔻 Взаимодействие с пользователями, которым леньКоманда аналитики делает всё, чтобы пользователям было просто и удобно находить ответы на свои вопросы:— Self-service BI…

😵‍💫 Нерелевантные, демотивирующие и бессмысленные задачиДавайте поговорим про раздражающие и отвлекающие факторы в работе.Вчера у меня возникла ситуация:Amazon Redshift ночью автоматически обновился на свежий релиз, что привело к ошибкам в расчетах (dbt), и проблемам с отчетностью (Looker). Ряд самых важных дашбордов перестал работать (пусто, либо ERROR SQL Query). Бизнес-пользователи сообщают о проблемах и ждут исправления.Я потратил около 4-5 часов на поиск и локализацию проблемы, её исправление (rollback, upgrade, чуть не дошло до restore from backup) и проверки (что-то продолжаю делать и сейчас).В это время команда из 6 человек (Finance & Accounting) пишет письма с просьбой найти и высл…

🏆 Удержать стоимость SaaS ELT на уровне $13K / year вместо повышения цены в 2,35 раза В компании для интеграции данных я использую SaaS ELT решение от вендора Hevo Data. Еще в начале 2020 году я провел сравнительный анализ и proof of concept среди основных игроков на рынке в поисках подходящего решения.В финале оказались Hevo и Fivetran. Hevo победил по ряду критериев, в том числе по стоимости (total cost of ownership).Коротко, мой сетап:— 1 Destination connector (sync каждые 15 минут)— 10 Source connectors (самые важные: MongoDB, Postgres, Event stream)— 500M events / monthНачиная с 2020 года стоимость сервиса составляла $12K в год с платежами раз в квартал. На мой взгляд, это отличная сто…

🌟 Привет, друзья!С наступающим Новым Годом!Обещаю радовать вас и развиваться. В новом году я планирую:— Делать больше обзоров Data Tools и Инструментов, сравнивать их и делать выводы— Создавать новый обучающий и полезный для каждого контент— Активизироваться на YouTube с онлайн-стримами по интересным темам и короткими кастами— Систематизировать накопленные в канале знания, добавить навигацию и хэштеги— Писать review на новые (и не очень) книги, интернет-публикации и самые интересные Data-события— Запустить email-рассылкуЖелаю всем уютно отметить в кругу близких и друзей, помечтать как следует, и полными сил вступить в новое путешествие в наступающем году! 🥳До связи,Артемий🥳🥳🥳

Всем привет, мы собрали небольшую подборку каналов/групп, которые могут быть полезны интересующимся данными в Новом 2024 году и хотим поделиться с вами:• @datacoffee — Еженедельный подкаст о данных• @datavizcomics — Комиксы по датавизу, дата-арт и интересные визуализации• @dbt_users — DBT users group• @enthusiastech — Analytics Engineering + tips & tricks• @ohmydataengineer — Авторский канал обо всем, что происходит в мире работы с данными• @ruairflow — Русскоязычное сообщество Apache AirflowДобавить как папку в Telegram https://t.me/addlist/B5NbcluX5AJiMTFi

👀 Где взять динамический датасет для целей тестирования?Большая часть датасетов и sample databases являются статичными, т.е. представляют из себя снимок. Эти данные не меняются со временем.Мы привыкли изучать такие данные, проводить Exploratory Data Analysis, строить дашборды, обучать ML-модели. Удобно пользоваться Sample Tutorials от вендоров и тулов. Awesome Public Datasets, Kaggle, Metabase Sample Database, и даже AdventureWorks - это всё примеры статики.Но ряд задач можно изучать и решать только на динамическом датасете, т.е. тех данных, с которыми происходят мутации в режиме реального времени - INSERT, UPDATE, DELETE:— Online data replication (Change Data Capture)— Streaming tasks: Ana…

☄ Первый стрим для закрытой группы Designing Modern Data AppsУже сегодня 21 декабря в 19:00 — Marketing Analytics❗️ У меня осталось всего несколько местКак это будет выглядеть?— 10 стримов, 2 из них интерактивные Q&A— Живое общение и доступ к ответам на свои вопросы— Единая связная история-кейс (заказчик - требования - архитектура - реализация)— Формат интенсива - сразу к делу, минимум воды, максимум практикиКакие результаты я получу?— Опыт построения аналитических приложений на реальном бизнес-кейсе— Практика с инструментами Modern Data Stack— Записи стримов, слайды, git-репозитории остаются у вас— Возможность претендовать на вакансии с ЗП 300К+Востребованные навыки и практические знания -…

примеры того что получается в итоге

🛫 визуализация полётов на Кликхаусе 🛬Алексей Миловидов собрал красивый демо-проект, чтобы показать как Кликхас могёт ворочать миллиарды записей (это в день). Получилось похоже на flightradar, только без самолётиков — только трейсы. Можно выбирать что показать, крутить карту как обычно и даже писать кастомные запросы.всё работает на чистом html поверх кликхауса в их облаке. В статье подробный рассказ что под капотом: js-функции, ddl таблиц и вьюх, sql-запросы с сайта.Статья https://clickhouse.com/blog/interactive-visualization-analytics-adsb-flight-data-with-clickhouseСайт https://adsb.exposed/Исходники https://github.com/ClickHouse/adsb.exposedИсточники данных: 1. https://www.adsb.lol/ 2. h…

и следом ютуб-фид мне выдал релевантный доклад с AWS re:Invent «как не терять данные в стриминге»Рассказывает AWS Hero из консалтинга, т.е. она насмотрелась за свою карьеру на разные aws-архитектуры.доклад понравился тем, что он практико-ориентированный: на примере одного проекта разобрали основные ошибки и как тихо не терять данные. При этом советы были простые, но действенные — на уровне вызываемых функций и их параметров. И всё это относиться не только в AWS или Kinesis, ведь терять данные можно в любом инструменте. ⌘⌘⌘ кейс начинается с того, что при простом паблише и консьюме из Kinesis Streams они заметили недостачу данных. И дальше по цепочке разбирали кейсы, которые они обнаружили (…

открываю для себя семейство продуктов Kinesis от AWS. Всё вместе оно решает дата-стриминговые задачи, но чисто по названиям не понять чем Streams отличаются от Analytics и зачем там ещё Firehose.посмотрев три обзора на ютубе, ответственно заявляю вот что я узнал:🟣 Kinesis Streams — типа топиков Кафки. Можно несколько консьюмеров на топик, есть ретеншен полиси для записей внутри — т.е. чтение на консьюмере управляется офсетом.🟣 Kinesis Firehose — по сути коннектор, можно туда паблишить евенты и оно из коробки может писать во все основные тулзы AWS. Нельзя много консьюмеров.🟣 Kinesis Analytics — под капотом это Managed Flink (почему нельзя было так назвать сразу?). Умеет в разные стрим-трансф…

🐭 постоянство в достиженияхвзять, например, шефа в ресторане. недостаточно один раз приготовить божественный рататуй, а всё остальное время подавать посредственную яичницу.должно пройти какое-то время, чтобы «слава закрепилась»; нужно, чтобы люди приходили, восхищались твоим рататуем, приходили снова и снова, а потом всем рассказывали, что лучший рататуй — только у вас.если приготовить вкусно только один раз, то такого эффекта не получится. Первый раз кому-то попадётся божественный рататуй, а на следующий — будут только яичницы. Земля не остановится, конечно, но и звезду мишлена за яичницы не дадут. вспомнил об этом, когда задумался о перфоманс наших ревью. Раньше мне казалось, что если я о…

📓 Infrastructure as a Codeбудучи начинающим дата-инженером в Эпохе довелось первый раз сетапить дата-инфру с нуля для нового проектая тогда уже чуток представлял из каких «кубиков» должна получиться система: где-то должны быть пайплайны, где-то храниться данные и в итоге желательно из всего этого сделать дашборды.с хранением всё понятно — был GCP и значит всё льём в BigQuery, там будут жить наши таблицы, аккуратно разложенные по слоям.осталось поднять Airflow, который, собственно, и будет всё раскладывать по слоям, а ещё Metabase, где будут жить все дашборды.я долго смотрел на этот космолёт приборную панель управления облачными ресурсами: столько там всяких разделов что сложно понять с чего…

🤓 испытательный срок — тю!прошло полгода в Кларне, объявили что я молодец и мой временный контракт превращается в тыкву настоящий бессрочный взрослый трудовой договор. Внутренний самозванец громко и глубоко выдохнул.понял, насколько спокойно было в России — кажется, чтобы тебя уволили надо очень сильно постараться. Особенно в нашей уютной айтишечке. хочется немного порадоваться, потому что было всякое за эти шесть месяцев: расскажу ниже. я так и не научился вести прямой репортаж, поэтому ниже краткий пересказ.⌘ на второй неделе моего пребывания местный профсоюз предупредил компанию о забастовке — они хотели подписать коллективный трудовой договор. Последний раз про забастовки я слышал из те…

первая неделя с CoPilotтут в нашей Кларне держат фокус на AI. Может где-то и перегибают в горячке, но тем не менее всем разработчикам оплатили лицензию на CoPilot и неустанно напоминают её активировать и установить плагин свой IDE.последнюю неделю дорвался наконец до питонячего кода и таки активировал-установил копайлот в свою Идею. Делюсь ощущениями по итогам первой недели с аи-помошником. Наверняка тут есть прожженные промпт-инженеры и гпт-мастера — не судите строго (а лучше приходите в комменты!)+++ мне понравилось как копайлот справляется с питоном и конфигами терраформа: предлагает дополнения исходя из контекста файла и непосредственного окружения.в одном месте писал функцию для дебага…

🎧 Father of «DataWarehouse» продолжая копать под этого Joe Ries, нашёл у него подкаст. Полистая прошлые эпизоды, нашёл там никого иного как Билла наше-всё Инмона. Оказывается Билл его менторит (вот это размах!).эпизод слушается как смесь баек из склепа и триллера: всё на одном дыхании — хотя уже заранее знаешь кто убийца, но до самого конца было непонятно как оно всё придёт к этому.первую программу Билл написал в 1965, за свою карьеру успел пописать на ассемблере, паскале и коболе. Застал программирование на перфокартах; когда несёшь стопку таких карт к «компьютеру», то главное их не рассыпать — иначе придётся вручную восстанавливать и проверять их порядок >_<сейчас мы (по крайней мере мы в…

Data Modeling is Dead! Long Live Data Modeling!https://youtu.be/OCClTPOEe5sувидел у Семёна ссылку на рассылку про моделирование данных от Joe Reis, автора Fundamentals of Data Engineering — книги, которая вроде как пробилась в топы Амазона сразу по нескольким категориям.помимо книги и рассылки, нашёл небольшой доклад от Джо на тему того же моделирования. В целом, от доклада сложилось впечатление «дед ворчит на облако», но кажется смысл сводиться, что мы стали забывать что такое модели данных и в принципе забивать на этот этап. Остаётся только поверить его обширному кругу общения — у него своё консалтинговое агентство, он много катается по миру с докладами, поэтому повидал и услышал всякое т…

Яндекс 🇷🇺 → Klarna 🇸🇪 2 года назад у меня был план к тому моменту я поработал полгода джуном в Ривьере, потом ещё годик в агентстве Epoch8. Когда пришёл в Яндекс, по прикидкам в такой большой компании можно смело проработать года 2-4, продолжая открывать…

Kafka is dead, long live Kafkahttps://www.warpstream.com/blog/kafka-is-dead-long-live-kafkaдва выходца из Datadog накидывают на Кафку. Ну, точнее не на саму Кафку, а на окружение, в котором крутятся современные инсталляции.дисклеймер: сам я Кафку не варил, шарды не перебалансировал и патриции не восстанавливал; но кажется я понимаю спектр проблем, на которые указывают авторы, и мне в целом нравится что они ставят под вопрос дефолтное решение. И было интересно для общего кругозора прочитать что там их не устраивает и как же сделать лучше (по законам жанра в конце статьи предложение).авторы пишут, что сама по себе Кафка всем хороша и с момента релиза зарекомендовала себя как дефолтный способ …

Телеграм — настоящая соцсеть в чём главная проблема канала в телеге? дорогу туда найдёт лишь тот, кто там уже был, хе-хе просто в отличие от фейсбуков и тиктоков, в телеге не было механизма дискавери новых каналов; чтобы новый читатель узнал про канал, он…

Телеграм — настоящая соцсетьв чём главная проблема канала в телеге? дорогу туда найдёт лишь тот, кто там уже был, хе-хепросто в отличие от фейсбуков и тиктоков, в телеге не было механизма дискавери новых каналов; чтобы новый читатель узнал про канал, он доложен был его сам найти, либо ему кто-то его прислал — пошерил в другом или прислал личносоответственно, чтобы канал рос, нужно чтобы его репостиливокруг выросла целая индустрия «давайте включим ваш канал в подборку» или более креативные и интересные стратегии типа «перестрелки» авторы каналов в надежде выдавить ещё пару капель конверсии ставят в конце каждого поста ссылку на канал (@data_days !), ведь иначе при репосте невнимательный чита…

Summary

Databases come in a variety of formats for different use cases. The default association with the term "database" is relational engines, but non-relational engines are also used quite widely. In this episode Oren Eini, CEO and creator of RavenDB, explores the nuances of relational vs. non-relational engines, and the strategies for designing a non-relational database.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

This episode is brought to you by Datafold – a testing automation platform for data engineers that prevents data quality issues from entering every part of your data workflow, from migration to dbt deployment. Datafold …

Summary

Maintaining a single source of truth for your data is the biggest challenge in data engineering. Different roles and tasks in the business need their own ways to access and analyze the data in the organization. In order to enable this use case, while maintaining a single point of access, the semantic layer has evolved as a technological solution to the problem. In this episode Artyom Keydunov, creator of Cube, discusses the evolution and applications of the semantic layer as a component of your data platform, and how Cube provides speed and cost optimization for your data consumers.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data managemen…

Summary

Working with data is a complicated process, with numerous chances for something to go wrong. Identifying and accounting for those errors is a critical piece of building trust in the organization that your data is accurate and up to date. While there are numerous products available to provide that visibility, they all have different technologies and workflows that they focus on. To bring observability to dbt projects the team at Elementary embedded themselves into the workflow. In this episode Maayan Salom explores the approach that she has taken to bring observability, enhanced testing capabilities, and anomaly detection into every step of the dbt developer experience.

Announcements…

Summary

A core differentiator of Dagster in the ecosystem of data orchestration is their focus on software defined assets as a means of building declarative workflows. With their launch of Dagster+ as the redesigned commercial companion to the open source project they are investing in that capability with a suite of new features. In this episode Pete Hunt, CEO of Dagster labs, outlines these new capabilities, how they reduce the burden on data teams, and the increased collaboration that they enable across teams and business units.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Dagster offers a new approach to building and running data …

Summary

A significant portion of data workflows involve storing and processing information in database engines. Validating that the information is stored and processed correctly can be complex and time-consuming, especially when the source and destination speak different dialects of SQL. In this episode Gleb Mezhanskiy, founder and CEO of Datafold, discusses the different error conditions and solutions that you need to know about to ensure the accuracy of your data.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Dagster offers a new approach to building and running data platforms and data pipelines. It is an open-source, cloud-native o…

Summary

Data lakehouse architectures are gaining popularity due to the flexibility and cost effectiveness that they offer. The link that bridges the gap between data lake and warehouse capabilities is the catalog. The primary purpose of the catalog is to inform the query engine of what data exists and where, but the Nessie project aims to go beyond that simple utility. In this episode Alex Merced explains how the branching and merging functionality in Nessie allows you to use the same versioning semantics for your data lakehouse that you are used to from Git.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Dagster offers a new approach …

Summary

Artificial intelligence technologies promise to revolutionize business and produce new sources of value. In order to make those promises a reality there is a substantial amount of strategy and investment required. Colleen Tartow has worked across all stages of the data lifecycle, and in this episode she shares her hard-earned wisdom about how to conduct an AI program for your organization.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Dagster offers a new approach to building and running data platforms and data pipelines. It is an open-source, cloud-native orchestrator for the whole development lifecycle, with integrated linea…

Summary

Building a database engine requires a substantial amount of engineering effort and time investment. Over the decades of research and development into building these software systems there are a number of common components that are shared across implementations. When Paul Dix decided to re-write the InfluxDB engine he found the Apache Arrow ecosystem ready and waiting with useful building blocks to accelerate the process. In this episode he explains how he used the combination of Apache Arrow, Flight, Datafusion, and Parquet to lay the foundation of the newest version of his time-series database.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern d…

Summary

A data lakehouse is intended to combine the benefits of data lakes (cost effective, scalable storage and compute) and data warehouses (user friendly SQL interface). Multiple open source projects and vendors have been working together to make this vision a reality. In this episode Dain Sundstrom, CTO of Starburst, explains how the combination of the Trino query engine and the Iceberg table format offer the ease of use and execution speed of data warehouses with the infinite storage and scalability of data lakes.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Dagster offers a new approach to building and running data platforms an…

Summary

Sharing data is a simple concept, but complicated to implement well. There are numerous business rules and regulatory concerns that need to be applied. There are also numerous technical considerations to be made, particularly if the producer and consumer of the data aren't using the same platforms. In this episode Andrew Jefferson explains the complexities of building a robust system for data sharing, the techno-social considerations, and how the Bobsled platform that he is building aims to simplify the process.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Data lakes are notoriously complex. For data engineers who battle to b…

Summary

Stream processing systems have long been built with a code-first design, adding SQL as a layer on top of the existing framework. RisingWave is a database engine that was created specifically for stream processing, with S3 as the storage layer. In this episode Yingjun Wu explains how it is architected to power analytical workflows on continuous data flows, and the challenges of making it responsive and scalable.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Data lakes are notoriously complex. For data engineers who battle to build and scale high quality data workflows on the data lake, Starburst powers petabyte-scale SQL analyt…

Summary

Monitoring and auditing IT systems for security events requires the ability to quickly analyze massive volumes of unstructured log data. The majority of products that are available either require too much effort to structure the logs, or aren't fast enough for interactive use cases. Cliff Crosland co-founded Scanner to provide fast querying of high scale log data for security auditing. In this episode he shares the story of how it got started, how it works, and how you can get started with it.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Data lakes are notoriously complex. For data engineers who battle to build and scale high…

Summary

Databases and analytics architectures have gone through several generational shifts. A substantial amount of the data that is being managed in these systems is related to customers and their interactions with an organization. In this episode Tasso Argyros, CEO of ActionIQ, gives a summary of the major epochs in database technologies and how he is applying the capabilities of cloud data warehouses to the challenge of building more comprehensive experiences for end-users through a modern customer data platform (CDP).

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Data lakes are notoriously complex. For data engineers who battle t…

Summary

Data processing technologies have dramatically improved in their sophistication and raw throughput. Unfortunately, the volumes of data that are being generated continue to double, requiring further advancements in the platform capabilities to keep up. As the sophistication increases, so does the complexity, leading to challenges for user experience. Jignesh Patel has been researching these areas for several years in his work as a professor at Carnegie Mellon University. In this episode he illuminates the landscape of problems that we are faced with and how his research is aimed at helping to solve these problems.

Announcements

Hello and welcome to the Data Engineering Podcast, the s…

Our fifth season dives into large language models (LLMs), from understanding the internals to the risks of using them and everything in between. While we're at it, we'll be enjoying our morning brew.In this session, we interviewed Chengyin Eng (Senior Data Scientist, Databricks), Sam Raymond (Senior Data Scientist, Databricks), and Joseph Bradley (Lead Production Specialist - ML, Databricks) on the best practices around LLM use cases, prompt engineering, and how to adapt MLOps for LLMs (i.e., LLMOps).

30 января все сайты с доменом .ru и некоторые приложения на несколько часов перестали открываться. Пользователи стали переживать, что интернет в России отключают. На самом деле случился сбой в протоколе DNS. В этом эпизоде разбираемся, как этот протокол устроен и какая ошибка привела к падению Рунета.Эпизод про шифрование: https://pc.st/e/4Hy~u9W_OixРекомендации от гостя: 1. Книга «DNS and BIND», авторы Cricket Liu and Paul Albitz2. Блог CloudFlare, статья про DNS https://www.cloudflare.com/en-gb/learning/dns/what-is-dns/3. Курсы компании ICANN https://www.icann.org/en/beginnersСлушать «Запуск++» и другие бонусы по подписке ЛибоЛибо+ в закрытом телеграм-канале Либо/Либо https://cutt.ly/zap0…

Как скачать из интернета фильм, музыку или программу, минуя единый сервер? Что сделало пиратов народными героями и почему невежливо уходить с раздачи? Этот выпуск — о протоколе BitTorrent. О том, как он озолотил своего создателя, снова разозлил Голливуд и стал окном в мир массовой культуры для миллионов людей. Реклама. АНО ДПО «Образовательные технологии Яндекса». ИНН 7704282033 erid: 2SDnjeJsoGcКурсы английского для работы в IT от Практикума:https://clck.ru/38QNxFАвтор сценария: Валерия ЖитковаРедактор: Евгения ЩербинаПродюсеры: Маша Агличева и Паша БоровковЗвукорежиссер: Юрий ШустицкийСаунддизайнер: Леша Воробьев

«Будь проще и люди к тебе потянутся» — девиз формата gif. Он действительно прост и не меняется последние 30 лет. Как раз за это его все и любят. Гифка - это больше чем формат: это идея. Это способ упаковать многое в малом. Это память о временах раннего интернета. Это инструмент цифрового художника, но самое главное - это оптимальный способ показать другому человеку в интернете самые тонкие нюансы наших эмоций. В этом выпуске разбираемся, за что интернет полюбил формат gif.erid: 2SDnjf3ZJ4GКурс «Продвинутый Go‑разработчик»: https://clck.ru/37psA2Реклама. АНО ДПО «Образовательные технологии Яндекса». ИНН 7704282033Авторы сценария: Иван Грабарник и Евгения Щербина. Редактор: Евгения ЩербинаПро…

Гнусавый перевод голливудских боевиков, домашний архив с детскими стихами, прочитанными с табуретки, и доступное порно — всё это стало возможным благодаря форматам VHS и DVD. Сначала кассеты, а потом диски принесли видео в каждую гостиную, заполнили наши серванты и — ушли в прошлое под натиском цифровой революции. Или не совсем? В этом выпуске Самат Галимов рассказывает об истории видеореволюции, которую устроили VHS и DVD, и очень много ностальгирует.Реклама. АНО ДПО «Образовательные технологии Яндекса». ИНН 7704282033 erid: 2SDnjckdd4LКурсы английского для работы в IT от Практикума:https://clck.ru/37jsSPАвтор сценария: Валерия ЖитковаРедактор: Евгения ЩербинаПродюсеры: Маша Агличева и Паш…

Почему нельзя просто взять и распечатать любой документ на принтере? Где хранить цифровую память человечества? Как излечить головную боль и художников с дизайнерами, и американской налоговой службы? В этом выпуске Самат Галимов рассказывает, как из попыток ответить на эти вопросы родился один из самых надежных и долговечных форматов электронных документов - PDFРеклама. АНО ДПО «Образовательные технологии Яндекса». ИНН 7704282033 erid: 2SDnjeKAEaCКурс «Инженер данных» в Практикуме:https://clck.ru/37JGtnАвтор сценария: Иван ГрабарникРедактор: Евгения ЩербинаПродюсеры: Маша Агличева и Паша БоровковЗвукорежиссер: Юрий ШустицкийСаунддизайнер: Леша Воробьев

30 лет назад, чтобы послушать любимую песню, нужно было пойти в магазин, отстоять очередь и купить дорогой диск, на который умещалось всего девять композиций. Всё изменил один немецкий ученый, который придумал революционную технологию сжатия звука. Благодаря ей диски стали не нужны - теперь всю музыку мира можно было бесплатно слушать с компьютера, а потом и положить в карман. Новая технология чуть не разорила лейблы и развязала самую кровавую войну в интернете — войну авторов контента с пиратами. В этом выпуске Самат Галимов разбирается в истории создания самого популярного аудиоформата в мире — mp3. Реклама. АНО ДПО «Образовательные технологии Яндекса». ИНН 7704282033 erid: 2SDnjckUYJ4Узн…

Вы помните ваш ник в аське? А каким был первый русскоязычный блог? Или, может, когда вы родились, интернет уже был привычной частью жизни? Мы записали новогодний спешл о том, как в России появился интернет, что менялось в нем со временем и как он стал для нас таким важным. Герой этого выпуска — Дмитрий Морозовский — человек, который всю жизнь занимается развитием рунета. Реклама. АНО ДПО «Образовательные технологии Яндекса» ИНН 7704282033 Подарочные сертификаты Практикума: https://clck.ru/37GttY Материалы из выпуска: Первый выпуск «Вечернего интернета» Антона Носика: https://web.archive.org/web/20190507075313/http://gagin.ru/vi/24dec1996.htm Выпуск «Газеты.ру» 1999 года: https://web.archive…

Вастрик уже больше 10 лет ведет блог для технарей — понятно и с мемами рассказывает о квантовом компьютере, вычислительной фотографии, Вебе 3.0 и других сложных технических штуках. Самат Галимов расспросил его, с чего начался один из самых популярных блогов про технологии в российском интернете, чем погружение в сообщество похоже на знакомство в баре, как избавиться от хейтеров и создать здоровую обстановку в блоге и сколько можно зарабатывать на всём этом. Реклама. АНО ДПО «Образовательные технологии Яндекса» ИНН 7704282033 Подарочные сертификаты Практикума: https://clck.ru/37DT9U В выпуске мы упоминали: Выпуск про квантовые вычисления https://pc.st/e/7ByFIcwxgcv Пост Вастрика про переезд …

Вы наверняка замечали, что от сервисов бывает очень сложно отписаться. Это не случайность: компании борются за ваши клики и деньги и используют для этого вводящие в заблуждение (а иногда и откровенно незаконные) приемы. В этом выпуске Самат Галимов говорит о темных паттернах с CPO «VK знакомств» Игорем Кузнецовым и разбирается, с какими манипуляциями мы сталкиваемся чаще всего, почему они работают и как от них защититься. Телеграм-канал Игоря Кузнецова https://t.me/brainshare Рекомендации от Игоря: Книга Deceptive Patterns: Exposing the Tricks Tech Companies Use to Control You by Harry Brignull Сайт https://www.deceptive.design/ Реклама. АНО ДПО «Образовательные технологии Яндекса» ИНН 7704…

Как рынок IT пережил 2023 год? Что ждет нас в 2024? Как IT-специалистам искать работу прямо сейчас? Самат Галимов поговорит об этом с Кирой Кузьменко — карьерным консультантом и ведущей подкаста «Собес». 12 декабря в 20:00 по Москве подключайтесь к трансляции в закрытом телеграм-канале Либо/Либо: https://cutt.ly/zap1212liveeptg Вы сможете не только послушать разговор, но и задать свои вопросы, так что не забудьте их подготовить. До встречи!

Язык Kotlin, платформа Space, среда разработки Fleet — все эти популярные инструменты сделали в JetBrains. Как появилась компания, изменившая работу программистов по всему миру? Почему первый продукт JetBrains не был самостоятельным? И как компания все время соревнуется с бесплатными продуктами? Самат Галимов говорит с генеральным директором JetBrains Максимом Шафировым. Реклама. АНО ДПО «Образовательные технологии Яндекса» ИНН 7704282033 Базовый курс Go от Практикума: https://clck.ru/36wNWp И продвинутый курс: https://clck.ru/36t9MP Самат Галимов вместе с ведущей подкаста «СОБЕС» Кирой Кузьменко проведут трансляцию для подписчков закрытого телеграм-канала студии «Либо/Либо». Они будут гово…

Самат с бизнес-партнером Федором Борщевым — сооснователи небольшой студии аутсорс-разработки «Федя и Самат». Когда ребята только начинали, в их компании было всего два человека (угадайте их имена). Прошло почти 4 года, и команда закономерно выросла. В этом эпизоде предприниматели рассказывают, как менялись их представления о работе и почему им по-прежнему не подходят 90% программистов на рынке, а еще делятся своими best practices ведения бизнеса. Реклама. АНО ДПО «Образовательные технологии Яндекса» ИНН 7704282033 Курс «Алгоритмы и структуры данных»: https://clck.ru/36pnri Ссылки, о которых мы говорили в этом эпизоде: Выпуск о создании компании: https://zapuskzavtra.libsyn.com/jc8vp34sqnls …

10 лет назад гость сегодняшнего эпизода построил у себя на заднем дворе в Миннесоте замок из бетона. Точнее распечатал 3D-принтером, который сам же и изобрел. Тогда об этом написали многие американские медиа, а Андрей Руденко на время стал знаменитостью. Самат Галимов позвал Андрея в подкаст и расспросил, как он делает свои принтеры и строит на этом бизнес. Реклама. АНО ДПО «Образовательные технологии Яндекса» ИНН 7704282033 erid: 2SDnjc1jxba Курсы Практикума для разработчиков и тестировщиков: https://clck.ru/36jJ7q Репортаж о замке Андрея Руденко: https://youtu.be/DQ5Elbvvr1M?si=C4R6mCgdLmTzJe7h Подкаст «Собес» https://bit.ly/3sMjtf3 Чат Запуска в телеграме: https://t.me/zapuskzavtra Связа…

Что общего у разработки видеоигр и создания домов, персонажей и историй в игре The Sims? Денис Ишмухаметов — программист графики в компании Wargaming, которая выпустила, например, игру World of Tanks. Самат Галимов расспросил Дениса, как устроен процесс разработки, зачем нужен игровой движок, что он умеет и какие с ним бывают сложности. Реклама. АНО ДПО «Образовательные технологии Яндекса» ИНН 7704282033 Промокод на скидку 20% на все курсы Практикума в Черную Пятницу: https://clck.ru/36ZxQg Выпуск про компьютерную графику: https://pc.st/e/6~lAhBor-PC Денис советует книги: Game Engine Architecture by Jason Gregory Real-Time Rendering by Eric Haines, Tomas Möller, Naty Hoffman И YouTube: http…

Вы точно хоть раз оказывались на странице, созданной с помощью Tilda или Readymag. Эти сервисы позволяют сверстать сайт без программирования всего за несколько кликов. Как это возможно? Насколько качественными получаются такие продукты? А можно сделать не сайт, а что-то сложнее? Программисты больше не нужны? Обо всем этом Самат Галимов спрашивает технического директора компании Readymag Антона Васина. Реклама. АНО ДПО «Образовательные технологии Яндекса» ИНН 7704282033 Курс «DevOps для эксплуатации и разработки»: https://clck.ru/36HZHm Слушать «Запуск++» и другие бонусы по подписке ЛибоЛибо+ в приложении «Подкасты» от Apple https://cutt.ly/zap10epap или в закрытом тг-канале Либо/Либо https:…

Спонсор подкаста — https://learn.python.ru

Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: релиз ruff 0.3.0

style czar или попытка привести языки к одному стилю

Gemini Pro объявила кеширование «риском безопасности»

Cloudflare запустили поддержку python в cloud-workers-ах

как за год изменилось состояние Web Assembly в Python

в pypi завезли возможность репортить malware-пакеты закончилось большое обсуждение lock-файлов от Brett Canon вышел DRF 3.15 почти через 2 года после пердыдущей версии Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https:/…

Спонсор подкаста — https://learn.python.ru

Ведущие – Григорий Петров и Михаил Корнеев Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы MoscowPython — https://moscowpython.ru

Спонсор подкаста — https://learn.python.ru

Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: Тул для работы с зависимостями для Python — `uv`

PEP 740 — возможность добавление работы с цифорвыми подписями для реестров пакетов типа PyPI Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы MoscowPython — https://moscowpython.ru

Спонсор подкаста — https://learn.python.ru

Ведущие – Григорий Петров и Михаил Корнеев Ссылки Никиты: GitHub — github.com/sobolevn Youtube — @sobolevn

Ведущие — Михаил Корнеев и Григорий Петров

В этом выпуске обсудили самые интересные и запомнившиеся новости последних двух месяцев. Ниже собрали ссылки на все новости:

JIT-компиляция в Python 3.13

Jetbrains выпустили отчет State of Developer Ecosystem 2023

Python Packaging, One Year Later: A Look Back at 2023 in Python Packaging Самые популярные библиотеки 2023 Вышел Django 5.0 У PSF появился свой Community Communication Manager С 1 января для публикации на pypi должна быть настроена 2fa Why Python is terrible? Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуск…

Спонсор подкаста — https://learn.python.ru Ведущие — Михаил Корнеев и Григорий Петров В этом выпуске обсудили самые интересные и запомнившиеся новости 2023 года Ссылки выпуска: Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы MoscowPython — https://moscowpython.ru

Спонсор подкаста — https://learn.python.ru Ведущие — Михаил Корнеев и Григорий Петров

В выпуске поговорили с Михаилом Вознесенским, руководителем группы разработки почтовых решений RuPost (входит в «Группу Астра») и обсудили следующие темы: какая часть кода используется для внешних API и для другого или насколько валидно писать комментарии для документации

«историю должен рассказывать сам код»

«если есть хороший docstring, то ide или настроенный редактор покажет развернутое описание аргументов»

от чего защищает линтер

голосовые сообщение, как коммент в коде

добавление метаинформации в код Ссылки выпуска: Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/trick…

Спонсор подкаста — https://learn.python.ru Ведущие — Михаил Корнеев и Григорий Петров

В выпуске поговорили с Андреем Столбовским и обсудили следующие темы: что такое SDM?

Андрей о себе и чем занимается сейчас

как в больших компаниях строится мониторинг

почему большие компании вкладываются в команды и просто не поставят себе Sentry

особенность мониторинга в AWS

золотые сигналы

Sentry уже не очень

как правильно смотреть на дашборды

трейсинг

алерты

техники оптимизации и как сжать int в один бит Ссылки выпуска: Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.…

Новый выпуск посвятили актуальным новостям за ноябрь 2023 года в мире Python. Ниже оставили ссылки на все материалы этого подкаста.

Ссылки на новости из выпуска:

Релиз Django Ninja 1.0

PEP 734 (сабинтерпретаторы в stdlib)

Nvidia показала cudf.pandas (GPU)

JetBrains запустил опрос Python-разработчиков

PyPI прошел первый аудит безопасности

Как много core-разработчиков Python использую аннотации типов Деприкейтится datetime.utcnow()

10 неприятных вещей в работе разработчиком Ссылки выпуска: Курс Learn Python — https://learn.python.ru/ Podlodka Python Crew — https://podlodka.io/pythoncrew

Промокод на конфу — MOS_PYTHON

Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Tel…

Спонсор подкаста — https://learn.python.ru Ведущие — Михаил Корнеев и Григорий Петров

В выпуске поговорили с Николаем Свиридовым и обсудили следующие темы: как из инженеров биомедицинского оборудования стать разработчиком

переходить ли в IT без подушки безопасности?

ситуационную работу мозга

роль IT-сообществ в развитии разработчика

сколько времени нужно, чтобы сделать крутой канал об IT

как завалить несколько испытательных сроков и всё равно войти в разработку

выбор тем для канала

общение с аудиторией

перспективы Django Ссылки выпуска: Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python …

Спонсор подкаста — https://learn.python.ru

Новый выпуск посвятили актуальным новостям за октябрь 2023 года в мире Python. Ниже оставили ссылки на все материалы этого подкаста.

Новости выпуска:

Первая бета Django 5.0 PEP 703 — опциональный GIL из коробки PEP 730 — добавить iOS в поддерживаемые платформы Отчет Security Developer-in-Residence за 3 квартал Ведущие: Михаил Корнеев и Григорий Петров

Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы MoscowPython — https://moscowpython.ru

Спонсор подкаста — https://learn.python.ru Ведущие — Михаил Корнеев и Григорий Петров

В выпуске поговорили со Станиславом Змиевым и обсудили следующие темы: Станислав про себя

pathlib.Path.walk в Python имплементация и верификация контрибьюторов

про разработку Open Source

сложно ли контрибьютить в Python начинающим разработчиком

чем занимаются в Monite

как прийти в Open Source и что даёт

рассказывает ли о своих проектах

насколько Open Source выгоден для карьеры

способы монетизации Open Source

отличается ли разработка платформенной инфраструктуры в финтехе

почему разработчиком не нравятся Type hints

что Стас думает о других языках программирования

идеальная траектория развития разработчика С…

Новый выпуск посвятили актуальным новостям за сентябрь 2023 года в мире Python. Ниже оставили ссылки на все материалы этого подкаста.

Ссылки на новости из выпуска:

Релиз Python 3.12

Релиз Flask 3

Jetbrains выпустили Python Developers Survey 2022

Python-редактор в Microsoft Excel Ведущие: Михаил Корнеев и Григорий Петров

Ссылки выпуска: Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы MoscowPython — https://moscowpython.ru

Спонсор подкаста — https://learn.python.ru

Ведущие — Михаил Корнеев и Григорий Петров Обсудили в выпуске: специфику Python-разработки в финтехе как часто случаются вопросы perfomance в команде конференцию Euruko кого ищут в финтех и как ищут как проверяют софт скилы на собеседовании какие хард скилы важны в финтехе как проверяют людей, которые знают, что классно и не классно разделяют ли сервера для расчётов и для обработки запросов есть ли люди, которые делают ревью кода как повышают версии как давно начали использовать FastAPI Миша про революцию в разработке почему FastAPI а не LiteStar? отношение к типизации как синхронизировать чувство меры всех членов команды? что все думают про новый …

Главный спонсор подкаста курсы Learn Python — https://learn.python.ru/ Этот выпуск посвятили опыту перехода на Pydantic 2 и пригласили Антона Огородникова, Magnit tech, чтобы обсудить: об Антоне почему решили переводить сервис на Pydantic 2 и как это делали

сколько времени и ресурсов ушло на переход

на какие side-эффекты наткнулись

что такое гильдии в Magnit tech

планируют ли вводить тестирование первых версий софта

использовали ли ребята Bump Pydantic

как долго надо ждать прежде чем внедрить софт

ответ на вопрос, реально ли найти работу, если контрибьютера в разные фреймворки (25-30 pr в мес) Ведущие: Михаил Корнеев и Григорий Петров

Ссылки выпуска:

Канал Миши в Telegram — https://t.me/tri…

Инженерная культура компании пронизывает нашу работу от и до. Какими критериями бизнес руководствуется при найме и почему собеседования устроены именно так а не иначе? Сколько времени у вас уйдет на реализацию конкретной фичи, а сколько на обсуждения острых вопросов на архитектурном и код-ревью и нужны ли эти ревью вообще? Как принимаются решения о расширении тех. стека проекта? Что нужно сделать, чтобы получить повышение, и что такого натворить, чтобы вас уволили? Не смотря на то, что мы привыкли воспринимать FAANG компании в одну цельную группу, инженерная культура в них сильно отличается. В этом выпуске Алексей Козятинский (ex. Google, а сейчас senior staff SWE в Netflix) откровенно поде…

В выпуске мы придумали идеальное описание языка программирования Zig – это DSL для машинного кода. И за этим определением кроется куча интересных концепций, начиная от брутальной простоты в синтаксисе и фичах, заканчивая метапрограммированием, основанном на comptime вычислениях. Погружаться в все еще редкий, но уже не эзотерический язык нам помогал Алекс Кладов, который использует Zig в разработке настоящего продакшн проекта – базы данных TigerBeetle. Партнёр эпизода — IT-компания Selectel. Ребята создают облачные решения и предлагают в аренду серверы, которые размещают в своих дата-центрах в России. Нетривиальные задачи, опытные коллеги, доверие и поддержка – то, что ждет тебя в Selectel.

…

С Сашей Зиминым поговорили про его опыт работы и жизни в Британии. В начале как наемного сотрудника, а теперь уже как исключительного таланта. В релокационном выпуске традиционно прошлись по климату, бытовым вопросам, сложностям с подготовкой документов, поиском жилья и работы. Радует, что в этом выпуске Женя с Егором также не остались в стороне и поделились своим опытом. Хочешь научиться хитрым фишкам UI под iOS?

Ждем тебя 15-го апреля на iOS Podlodka Crew. Разберем нестандартный лейаут, эффекты на Metal, сложные анимации в SwiftUI, а также поговорим про оптимизацию.

По промокоду UI_MAGIC будет приятная скидка в 500р. Не пропусти сезон! Забирай билет на https://podlodka.io/ioscrew Также жд…

В некоторых выпусках мы уже обсуждали, как работы ученых и инженеров в 60-70-е годы повлияли на современное программирование. Сейчас мы пошли еще дальше! Вместе с Виталием Брагилевским обсуждаем выдающуюся личность Ады Лавлейс, и то, как в ее главном труде видны концепции современного программирования. Встречаем апрель с новым сезоном Podlodka Teamlead Crew, посвященным метрикам. Узнаем про базовый набор метрик тимлида, процессы внедрения и принятия решений на их основе, научимся избавляться от вредных метрик. Забирай билет со скидкой по промокоду TL_ADA: https://podlodka.io/tlcrew Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka …

Дата и время – не самый простой домен. То зимнее-летнее время, то часовые пояса не кратны часу. А что, если не надо привязываться к часовому поясу? Еще в чате распределенной команды написали, что митинг в 5PM, так когда подключаться? Как синхронизировать время с колонией на Марсе? Одни вопросы. И во всех них мы подробнейше разобрались с Никитой Прокоповым. Так что давайте сверим часы и приятного прослушивания! Хочешь научиться оптимизировать производительность UI приложения на лету? Ждем тебя 25-го марта на Android Podlodka Crew. Разберем полезные инструменты, подберем метрики и убедим бизнес выделить ресурсы на оптимизацию. По промокоду HIGH_PERFORMANCE будет приятная скидка в 500р. Не про…

Все ведущие подкаста недавно релоцировались в другие страны. А некоторые – даже несколько раз. Мы по себе знаем, насколько сложен процесс адаптации, и насколько просто вместо интеграции в новую культуру свалиться в одну из возможных крайностей. Юлия Белозерова, экспат с большим опытом и человек, изучающий вопрос культурной интеграции с научной стороны, рассказала про то, как к ней правильно подойти, чем интегрированные экспаты отличаются от неинтегрированных, как правильно проводить смоллтолки, заводить рабочие и личные отношения и преодолеть культурный шок. В новом сезоне Podlodka Product Crew без инфоцыганства и воды разбираемся в практическом применении ML и AI. Как внедрить AI-фичи в пр…

FemTech — технологии, которые улучшают жизнь и здоровье женщин. Если вы думаете, что дело заканчивается трекерами цикла… То, поверьте, этот выпуск вас удивит! Gender data gap — огромная и далеко не единственная проблема в сфере женского здравоохранения. Но наука, технологии, и общество не стоят на месте: создается все больше продуктов направленных на здоровье женщин и решение специфичных для них проблем. В этом выпуске вместе Ирой Евдокимовой, основательницей первого медиа о FemTech на русском языке, разбираемся, как технологии на любой вкус — от AI до блокчейна — помогают женщинам, а также что происходит на рынке FemTech продуктов. Яндекс Практикум поможет прокачать скилы и расти в IT-проф…

Продолжаем разбираться, за что отвечают разные C-level менеджеры, и в этот раз фокус на деньгах – говорим про CFO. Готовьте кошельки!

Поговорили про финансирование, планирование, управление рисками – и все это на масштабах от стартапа до корпорации. А в гостях у нас Денис Дубовцев. Начните учиться бесплатно и попробуйте вводную часть курса «Фулстек разработчик с нуля» Яндекс Практикума: https://clck.ru/38ydkW Реклама. АНО ДПО «Образовательные технологии Яндекса». ОГРН 1147799006123. erid 2SDnjdFywhz для Твиттера

Продолжаем разбираться, за что отвечают разные C-level менеджеры, и в этот раз говорим про CFO. Готовьте кошельки!

Поговорили про финансирование, планирование, и управление рисками …

Мы уже несколько выпусков посвятили тому, как правильно “готовить” тесты — составлять тест-кейсы, реализовывать и оптимизировать автотесты, поддерживать тестовую документацию. Но один вопрос остается открытым — а же все это тестирование проводить? В этом выпуске эксперт в DevOps Александр Тарасов, погрузил нас в мир тестовых сред. Мы не только разобрались в классическом разделении dev / staging / production, но и рассмотрели альтернативный подход с “миксом” сред, в котором нет выделенной среды для тестирования. Обсудили не только туллинг, но и извечный вопрос коммуникации разработичков и тестировщиков — в общем, как всегда, разобрали тему со всех сторон! Ведущие в выпуске:

Катя Петрова, Евг…

Результат работы программистов – код. Дизайнеров – макеты и красивые иконки. А вот с тестировщиками все намного интереснее! Вместе с Анастасией Заречневой, тестировщицей из JetBrains и создательницей сообщества QA Sisters, мы разбираемся, что такое тестовая документация, откуда вообще берутся тест-кейсы, какие хитрые практики тест-дизайна помогают оптимизировать их количество, и как эти тест-кейсы правильно хранить и использовать. Подкаст записан при поддержке Test IT — разработчика самой популярной в России TMS. Простая организация тестовой документации: ручные и автотесты в едином интерфейсе, удобное планирование, наглядная отчетность и широкие возможности интеграции. Бесплатный триальный…

В выпуске обсудили нескучные правила шахмат, а также разновидности шахмат. Рассмотрели шахматы как вид спорта, или даже киберспорта. Узнали как AI играет в шахматы, оценивает силу ходов, помогает совершенствоваться, а иногда – читерить. В гости к нам пришел Даня Пилин – создатель онлайн школы по шахматам в Skyeng, product owner. Бесплатный курс Практикума «Какую профессию в программировании выбрать» поможет определиться с направлением по душе:

https://clck.ru/38Z2NE Реклама. АНО ДПО «Образовательные технологии Яндекса». ОГРН 1147799006123. erid 2SDnjcBYN8Y Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.…

И стартап, и пет-проект проще начинать с кем-то, например, другом или родственником. Сначала вы просто делаете что-то прикольное, но с ростом проекта растут и ставки. Как не навредить проекту и сохранить здоровое партнерство – рассказывает Дмитрий Гриц. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Женя Кателла, Катя Петрова Полезные ссылки: Telegram-канал https://t.me/partnership_expert Instagram

https://instagram.com/grits.partners Youtube

https://youtube.com/@ds…

Мы много времени уделяем обсуждению того, как писать код классно — спорим про технологии, языки, фреймворки, IDE и т. п. При этом все мы знаем, что реализация фичи — это лишь верхушка айсберга. А что там насчет стабильности?

Обеспечение качества продукта — сложный, трудоемкий процесс, который требует постоянного внимания. В этом выпуске вместе с Сашей Пшеборовской обсудили все аспекты автоматизации тестирования — от основных челленджей построения таких систем до специфики написания тестов под конкретную платформу, от инструментов до лучших практик и трендов. Выпуск будет полезен всем, вне зависимости от вашей роли на проекте, ведь в итоге качественных продукт — это результат командой работы…

Мало кого из тех, кто становится тимлидом, жизнь как-то к этому готовила. Управлению людьми и командами редко учат в университетах, работа рядовым программистом тоже не приносит нужных знаний. Мы решили помочь всем текущим и будущим руководителям и записали выпуск с разбором всех областей знаний, в которых нужно разбираться. Сразу предупреждаю – наш гость, Виталий Шароватов, копает максимально глубоко, поэтому подготовьтесь к обсуждению теории массового обслуживания и психологии рабочего труда! Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkac…

Беседуем с Сереем Суховым, создателем самого крупного Telegram-канала о стоицизме и тренажера по стоицизму.Support the showApplePodcasts: https://apple.co/2Psx8yd GooglePodcasts: https://shorturl.at/finK1 Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

Перед разговором с Сергеем Суховым о философии стоиков я решил записать короткий эпизод про принципы философии стоицизма.Support the showApplePodcasts: https://apple.co/2Psx8yd GooglePodcasts: https://shorturl.at/finK1 Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

Илья Параушкин — СЕО компании Biovolf. Биотех — необъятное поле для беседы. На этот раз продолжили разговор про экстремофилов, обсудили эволюцию, экосистемы, биологические катастрофы и перспективы человечества. Илью вы точно ещё у нас услышите.Support the showApplePodcasts: https://apple.co/2Psx8yd GooglePodcasts: https://shorturl.at/finK1 Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

Михаил Свердлов, ex-CBDO в Skypro, ex-Content Director в Skyeng, эксперт и консультант по образовательному продукту и аналитике, независимый CPO/директор по развитию и стратегии, автор телеграм-канала Образование, которое мы заслужили.У Миши очень богатый опыт в создании и развитии технологических продуктов на разных рынках, 5 лет из них в сфере образования. Последние 1,5 года Миша живёт в США.Ссылки:Канал «Образование, которое мы заслужили» https://t.me/ru_educationКанал «Камера хранения»https://t.me/schoolstorageИсследование с ВШЭ про аналитику в образовании и дата-центричный подход к построению образовательного контентаhttps://ioe.hse.ru/pubs/share/direct/547495575.pdfИсследование для Na…

Маша Грекова делает несколько проектов для взрослых людей с ментальными особенностями.Нормальное местоhttps://www.mestonorm.ruПростые вещиhttps://prostieveschi.ruОгурцыhttps://www.instagram.com/ogurtsinafontanke/Support the showApplePodcasts: https://apple.co/2Psx8yd GooglePodcasts: https://shorturl.at/finK1 Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

Илья Параушкин — СЕО компании Biovolf.https://biovolf.com/Слушайте "Проветримся!", где вам удобно:ApplePodcasts: https://apple.co/2Psx8ydGooglePodcasts: https://clck.ru/F7BA7Я.Музыка: https://clck.ru/JJB8ySupport the showApplePodcasts: https://apple.co/2Psx8yd GooglePodcasts: https://shorturl.at/finK1 Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

Аня Коган — СЕО OpenCV.AI и член совета директоров библиотеки OpenCV.Подпишись на Аню в телеграм https://t.me/aiandanyaSupport the showApplePodcasts: https://apple.co/2Psx8yd GooglePodcasts: https://shorturl.at/finK1 Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

Арсений Веснин был журналистом Эха в Петербурге, а в 2022 стал капитаном яхты Ойкумена, на которой хочет пройти путём Одиссея. У Ойкумены есть телеграм, сайт и инстаграм.Support the showApplePodcasts: https://apple.co/2Psx8yd GooglePodcasts: https://shorturl.at/finK1 Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

Закрываем сезон разговором про длинные технологические тренды с Андреем Себрантом. Андрей — директор Яндекса по стратегическому маркетингу, автор и ведущий подкаста "Трёп Себранта", автор телеграм канала TechSparks.Не забудьте поделиться этим эпизодом (и любыми другими, которые вам понравятся).ApplePodcasts: https://apple.co/2Psx8ydGooglePodcasts: https://shorturl.at/finK1Я.Музыка: https://clck.ru/JJB8ySupport the show

Дмитрий Железов получил PhD по математике в Университете Чалмерс. Он сооснователь компании Subsquid, которая разрабатывает протокол для индексации данных на блокчейн.https://www.subsquid.io/Support the show

В заключительном эпизоде второго сезона мы пытаемся разобраться, как новое поколение нейросетей меняет науки и чем теперь заняться ученым, если больше не нужно даже писать рефераты. erid: 2SDnjdTbzaL Реклама. АО «Точка». ИНН 9705120864 Кольцо для бесконтактной оплаты от Точки: https://tchk.me/m4f2g4 Слушайте первые выпуски подкаста «Шум в ушах» на всех платформах https://cutt.ly/shu12vupc, а все восемь выпусков уже доступны в Apple Podcasts https://cutt.ly/shu1212vuap или в закрытом телеграм канале Либо/Либо https://cutt.ly/shu1212vutg

Сколько датчиков нужно роботу, чтобы не путать человека с тенью от пакета, зачем ставить лазеры на такси и почему гонка беспилотных автомобилей происходит не на стадионах, а в датацентрах erid: 2SDnjepcB5i Реклама. АО «Точка». ИНН 9705120864 Откройте счёт в Точке: https://tochka.com/rko-landings/brand-f/

В этом эпизоде трехногий Трамп идет за решетку, в небе парит знак «стоп», машины генерируют несуществующих знаменитостей, и мы почти лишаемся возможности верить своим глазам. Реклама. АО «Точка». ИНН 9705120864 erid: 2SDnjevWRtU Не упустите год бесплатного обслуживания в Точке https://tchk.me/ELNBOi

В этом эпизоде мы расскажем, почему великого лингвиста Ноама Хомского бесят нейросети, как чатджипити подставил целую юридическую фирму из Нью Йорка и кто смотрит на вас из диалогового окошка языковых моделей. Купить билет на конференцию ТОК можно по ссылке: https://clck.ru/36HEzc А с промокодом ЗДЕСЬ у вас будет скидка 25% Реклама. АО «Точка» ИНН 9705120864 erid: Kra23V3Uv Слушайте бонусные выпуски подкастов студии «Либо/Либо» по подписке «ЛибоЛибо+» в Apple Podcasts https://cutt.ly/vun10epap или в закрытом Telegram-канале https://cutt.ly/vun10eptg

В этом эпизоде мы расскажем, почему вам не кажется, что нейросети как с цепи сорвались. Как человечество попало в третью эпоху вычислений, а так же когда мы прошли первую и вторую и почему ничего не заметили. Откройте счёт в Точке https://tchk.me/gExbWX Реклама. АО «Точка» ИНН 9705120864 erid: Kra23opKJ

Topics include How to Set Up Pre-Commit Hooks A step-by-step guide to installing and configuring pre-commit hooks on your project, difftastic, Quarto, and constable.

Topics include pacemaker, PyPI suspends new user registration to block malware campaign, Python Project-Local Virtualenv Management Redux, and Python Edge Workers at Cloudflare.

Topics include justpath, , LPython, and dramatic.

Topics include 🤖 On Robots.txt, niquests, Every dunder method in Python, and Lockbox.

Topics include pycountry, Does Python have pointers?, ingestr, and Make your terminal nice.

Topics include 6 ways to improve the architecture of your Python project (using import-linter), Mountaineer, Why Python's Integer Division Floors, and Hatchet.

Topics include zoxide, Smart CLIs with Typer, Python recommended officially by the US Government, and Textual tutorials at Mouse vs Python.

Topics include uv: Python packaging in Rust, jpterm, Everything You Can Do with Python's textwrap Module, and HTML First.

Topics include AppleCrate, One way to package Python code right now, Flask8 but why?, and.

Topics include Dokku, Summary of Major Changes Between Python Versions, speedtest-cli, and.

Topics include Granian, pytest 8 is here, , and New GitHub Copilot Research Finds 'Downward Pressure on Code Quality'

Topics include Syntax Error #11: Debugging Python, umami umami-analytics, pytest-suite-timeout, and Listmonk (py) listmonk.

Topics include Leaving the cloud, PEP 723 - Inline script metadata, Flet for Android, and harlequin: The SQL IDE for Your Terminal.

Topics include Python 3.13 gets a JIT, UniDep - Unified Conda and Pip Dependency Management, Don’t Start Pull Requests from Your Main Branch, and instld: The simplest package management.

Kentik is a network observability platform that focuses on letting users easily ask questions and get answers about their network. Avi Freedman is the CEO of Kentik and he joins the podcast to talk about the platform, his observability philosophy, the role of AI in observability, and much more. Full Disclosure: This episode is sponsored

The post AI-Driven Observability at Kentik with Avi Freedman appeared first on Software Engineering Daily.

Solid.js is a popular JavaScript framework known for its reactive and efficient rendering system. Instead of using a Virtual DOM, it compiles its templates to real DOM nodes and updates them with fine-grained reactions. Ryan Carniato is the creator of SolidJS, and he joins the show to talk about the framework. Taylor Nodell is a

The post SolidJS with Ryan Carniato appeared first on Software Engineering Daily.

Sammy Steele is a Senior Staff Engineer at Figma, and the tech lead for their databases team. She previously worked at Dropbox, where she built out their petabyte-scale metadata storage and search systems. Sammy recently published a blog called “How Figma’s databases team lived to tell the scale”. The blog went viral and made it

The post Database Scaling at Figma with Sammy Steele appeared first on Software Engineering Daily.

Autonomous vehicle engineering is a huge challenge and requires the integration of many different technologies. A self-driving car needs data from multiple sensors, ML models to process that data, engineering to couple software and mechanical systems, and much more. Ian Williams is a Senior Staff Software Engineer at Cruise, and before that worked at Google,

The post Bonus Episode: How to Build a Self-Driving Car with Ian Williams appeared first on Software Engineering Daily.

Ben Huber is a security engineer who has worked at companies including Crypto.com and Blackpanda. He joins the podcast to talk about his career, penetration or “pen” testing, attack vectors, security tools, and much more. Gregor Vand is a security-focused technologist, and is the founder and CTO of Mailpass. Previously, Gregor was a CTO across

The post Security Engineering with Ben Huber appeared first on Software Engineering Daily.

George Mathew is a Managing Director at Insight Partners where he invested in Weights & Biases, Jasper, and others. He has over 20 years of experience developing high-growth technology startups including most recently being CEO of Kespry. George joins the podcast to talk about his path to becoming an investor, his data-first thesis about investment,

The post Startup Investing with George Mathew appeared first on Software Engineering Daily.

Event-driven architecture is a software design pattern where system components communicate through events that are generated by producers, and pushed to consumers. This design is often contrasted with a request-driven architecture, where components communicate with each other by sending requests and receiving responses. Hookdeck is an event gateway for receiving, processing, and delivering asynchronous messages.

The post Hookdeck and Building an Event Gateway with Alex Bouchard appeared first on Software Engineering Daily.

OAuth is an open standard for access delegation. It lets users grant websites or applications access to their information on other websites, but without giving away passwords. OpenID Connect is an identity layer on top of OAuth. Even if you haven’t programmed using OAuth and OpenID Connect, you’ve certainly used them for authentication on Google,

The post Authlete and Making OAuth Accessible with Justin Richer appeared first on Software Engineering Daily.

Today, you can access Netflix on virtually any device. For a Netflix user, this seamless experience can be easy to take for granted, but it requires an enormous engineering effort. Jay Phelps is a Senior Software Engineer at Netflix where he works on Shared Client Foundations. He joins the show to talk about the start

The post Netflix Engineering with Jay Phelps appeared first on Software Engineering Daily.

Snowflake is one of the most prominent platforms for interacting with data and building data-intensive applications. Dan Myers works in Developer Relations at Snowflake and he joins the show to talk about the future of application development, and building native data apps on the platform. Sean’s been an academic, startup founder, and Googler. He has

The post Data Applications on Snowflake with Daniel Myers appeared first on Software Engineering Daily.

Kaze Emanuar is a ROM hacker who’s famous for the array of mods he’s made for Super Mario 64. He’s implemented remarkable optimization to the decompiled game code, even pushing Super Mario 64 to run at 60 frames per second. Kaze joins the show to talk about his interest in Super Mario 64, ROM hacking,

The post Bonus Episode: Optimizing Nintendo 64 Code with Kaze Emanuar appeared first on Software Engineering Daily.

Managing data and access to data is one of the biggest challenges that a company can face. It’s common for data to be siloed into independent sources that are difficult to access in a unified and integrated way. One approach to solving this problem is to build a layer on top of the heterogenous data

The post A Semantic Layer for Data with Artyom Keydunov appeared first on Software Engineering Daily.

Blasphemous and Blasphemous II are Metroidvania action-adventure games developed by the Spanish studio, The Game Kitchen. The games have a stunning, distinctive pixel art style and atmospheric world which is inspired by Spanish folklore and religious themes. They are known for their challenging combat and intricate level design. David Erosa is the Lead Producer and

The post Developing Blasphemous II with David Erosa and Dani Márquez appeared first on Software Engineering Daily.

Python is famed for it’s intuitive syntax, powerful standard library, and rich ecosystem of packages and frameworks. It’s also dynamically typed which is part of what makes the language so accessible. Paul Everitt is the Python and Web Developer Advocate at JetBrains. He joins the show to talk about developing the PyCharm IDE, the challenge

The post Building the PyCharm IDE at JetBrains with Paul Everitt appeared first on Software Engineering Daily.

All robust technology platforms require testing to ensure that features work as intended. In many cases, tests require data, but getting access to valid and high quality test data is a common challenge, especially when the technology runs on sensitive data. Realistically mimicking data that would normally contain sensitive financial or personal information is not

The post Tonic and Synthetic Data with Andrew Colombi and Adam Kamor appeared first on Software Engineering Daily.

-=Выпуск 77=- Немного прогнозов про технологические интересности наступающего года; в основном те, которые касаются цифровой стороны нашего мира и её развития. В выпуске упомянуты мартовский (2023) и с его прогнозом на 2024

-=Выпуск 76=- О быстрой эволюции языковых моделей в мультимодальные и поведенческие, об интересных недавних анонсах и — неожиданно для меня самого — довольно много про книгу Гаспара Кёнига “Конец индивидуума”, которая недавно вышла в русском переводе и представляет интересную картинку взглядов сотни очень разных людей на развитие ИИ в пересказе и с комментариями французского философа.

This strategy requires us to introduce seams into the mainframe system: points in which we could divert logic flow into newer services.

In a recent project we investigated several approaches to introduce these seams into a long-lived mainframe system.

The cost factor plays an important role, as it involves building upon your legacy system, potentially straining your existing infrastructure further.

Coarse Seam: Data interactions as a Seam One of the primary areas of focus was the pervasive database accesses across programs.

This module fed data from multiple data pipelines, and applied Simple and Complex rules to DB2.

This strategy requires us to introduce seams into the mainframe system: points in which we could divert logic flow into newer services.

In a recent project we investigated several approaches to introduce these seams into a long-lived mainframe system.

The cost factor plays an important role, as it involves building upon your legacy system, potentially straining your existing infrastructure further.

Coarse Seam: Data interactions as a Seam One of the primary areas of focus was the pervasive database accesses across programs.

This module fed data from multiple data pipelines, and applied Simple and Complex rules to DB2.

This strategy requires us to introduce seams into the mainframe system: points in which we could divert logic flow into newer services.

In a recent project we investigated several approaches to introduce these seams into a long-lived mainframe system.

In the client’s Legacy system, various attributes were generated for each consumer, and given the strict industry regulations, maintaining continuity was essential to ensure contractual compliance.

In the client’s Legacy system, various attributes were generated for each consumer, and given the strict industry regulations, maintaining continuity was essential to ensure contractual compliance.

The cost factor plays an important role, as it invo…

Martin Fowler: 28 Mar 2024As the enmuskification of Twitter continues, I’ve increasingly heard that more people are using LinkedIn to keep up with new professional material.

So, a couple of weeks ago, I set up my LinkedIn account, so people can follow me on that platform.

I’ve always avoided LinkedIn - I’ve found the whole vibe of connections rather off-putting.

But LinkedIn has added a “creator mode”, which encourages people to follow someone for posts rather than the bi-directional connection.

Sadly, LinkedIn doesn’t have lists, and pushes everything someone likes into the single connection feed.

I'd first met John Kordyback ten years prior to this.

Of more professional importance, he found much that appealed in our embrace of agile software development.

The world of agile software was very different in the early 2000s.

But the most important core principle of agile that John understood was that agile habits were founded upon humans working together.

When John went into the mainframe world, he listened to those already there.

This strategy requires us to introduce seams into the mainframe system: points in which we could divert logic flow into newer services.

In a recent project we investigated several approaches to introduce these seams into a long-lived mainframe system.

In the client’s Legacy system, various attributes were generated for each consumer, and given the strict industry regulations, maintaining continuity was essential to ensure contractual compliance.

In the client’s Legacy system, various attributes were generated for each consumer, and given the strict industry regulations, maintaining continuity was essential to ensure contractual compliance.

The cost factor plays an important role, as it invo…

This strategy requires us to introduce seams into the mainframe system: points in which we could divert logic flow into newer services.

In a recent project we investigated several approaches to introduce these seams into a long-lived mainframe system.

In the client’s Legacy system, various attributes were generated for each consumer, and given the strict industry regulations, maintaining continuity was essential to ensure contractual compliance.

In the client’s Legacy system, various attributes were generated for each consumer, and given the strict industry regulations, maintaining continuity was essential to ensure contractual compliance.

The cost factor plays an important role, as it invo…

Abi Noda is the founder and CEO of DX , focused on helping organizations measure and improve developer productivity.

Organizations should prioritize measuring developer productivity using data from humans, rather than data from systems.

Figure 1: Qualitative metrics are measurements derived from humans The definition of the word “metric” is unambiguous.

An alternate definition we’ve heard is that qualitative metrics measure quality, while quantitative metrics measure quantity.

Advocating for qualitative metrics Executives are often skeptical about the reliability or usefulness of qualitative metrics.

From time to time people ask me for a copy of the code I used in the opening chapter of Refactoring, so they can follow along themselves.

Fortunately Emily Bache is more dedicated, and she has set up a github repository - the Theatrical Players Refactoring Kata - with the code, and enough tests to make it reasonable to do the refactoring.

The repository goes further than this, however, in that it includes similar sample code in a dozen languages, including C, Java, Rust, and Python.

She has recently posted a video to her YouTube channel, which outlines why she encourages folks to use this code while they are reading that chapter.

Her channel includes a lot of videos on good code technique, …

Measuring developer productivity is a difficult challenge.

Organizations should prioritize measuring developer productivity using data from humans, rather than data from systems.

Today, developer productivity is a critical concern for businesses amid the backdrop of fiscal tightening and transformational technologies such as AI.

An alternate definition we’ve heard is that qualitative metrics measure quality, while quantitative metrics measure quantity.

Advocating for qualitative metrics Executives are often skeptical about the reliability or usefulness of qualitative metrics.

Measuring developer productivity is a difficult challenge.

Qualitative metrics offer a powerful way to measure and understand developer productivity using data derived from developers themselves.

Organizations should prioritize measuring developer productivity using data from humans, rather than data from systems.

Today, developer productivity is a critical concern for businesses amid the backdrop of fiscal tightening and transformational technologies such as AI.

Advocating for qualitative metrics Executives are often skeptical about the reliability or usefulness of qualitative metrics.

And… What if we rotate pairs every day?

There is a perception that rotating pairs every day, or every other day, is more costly and more difficult than rotating once a week.

It is also not practical to rotate pairs on task completion since it is unlikely that other pairs finish at the same time.

With pairs rotating every day, team members were forced to work in unfamiliar areas of the codebase.

“The work is moving among the team members” Team members found that everyone developed context related to all the cards in progress, even before working on each card.

With Event Interception, we identify existing integration points between legacy components and if possible take advantage of them as seams we can use to introduce new capabilities.

As we look to displace a legacy system a part at a time, we look to identify, extract and replace application capabilities.

How It WorksLegacy systems may and usually do have numerous targets for Event Interception including message consumers, http API's, SQL connections, batch jobs and others.

Event Interception is a technique that uses these technical seams, and does this by enabling events passing from one component to another to be intercepted and routed to new components/services.

Routing requests depending …

But a team that operates remotely still benefits from face-to-face gatherings, and should do them every few months.

Remote-first teams have everyone in a separate location, communicating entirely by email, chat, video and other communication tools.

A regular pattern I see from those who are effective in remote-first work is that they ensure regular face-to-face meetings.

At Thoughtworks, we learned the importance of regular face-to-face gatherings for remote teams when we first started our offshore development centers nearly two decades ago.

Claire Lew surveyed remote-first teams in 2018, noting that a quarter of their respondents did retreats “several times a year”.

В этой статье я предложу краткий и удобный формат интерактивной API-документации для любых HTTP API (REST, RPC и что угодно еще).

HTTP-статус 201 Created означает, что в результате запроса был создан новый пример.

Наконец, удалим пример:HTTP-статус 204 No Content означает, что мы удалили пример, поэтому гитхаб больше ничего не может о нем сообщить.

У Gists API есть и другие полезные возможности, но мы не будем их рассматривать.

length ; i ++ ) {Вызов API и показ результатов и того проще — используем браузерное Fetch API и выводим ответ как текст:

Проектная область видимости:$ cd /my/project $ sqlpkg init $ sqlpkg install sqlite/stmt $ tree .sqlpkg .sqlpkg └── sqlite └── stmt ├── sqlpkg.json └── stmt.dylibГлобальная область видимости:$ cd /some/other/path $ sqlpkg install sqlite/stmt $ tree ~/.sqlpkg /Users/anton/.sqlpkg └── sqlite └── stmt ├── sqlpkg.json └── stmt.dylibИ никаких флагов!

Вместо простого «выведи содержимое .sqlpkg» у нас теперь 4 возможных ситуации для каждого пакета:Пакет есть в .sqlpkg и в локфайле, причем версии совпадают.

Пакет есть в .sqlpkg и в локфайле, но версии отличаются.

type Package struct { Owner string Name string Version string Homepage string Repository string Specfile string Authors [] string License …

Язык OdinДавно подыскиваю для себя альтернативу языку C. Посмотрел на днях Rust, Nim, Zig, Hare и Odin.

А хотелось бы еще замену C.У Odin уникальный набор качеств:Простой язык без лишних прибамбасов.

Если исходный файл main.odin находится в текущем каталоге, собрать и запустить его можно так:docker run --rm --volume $(pwd):/sandbox --workdir /sandbox odin:latest odin run .

run : @docker run --rm --volume $( shell pwd ) :/sandbox --workdir /sandbox odin:latest odin run .

Но компания, в которой работает автор языка, активно использует Odin в продакшене, так что проверку реальностью он уже прошел.

Ищет, скачивает и обновляет расширения.

Чтобы добавить недостающие функции.