Part three on how we built a Compose based architecture with Mavericks in the Airbnb Android appBy: Eli Hart, Ben Schwab, and Yvonne WongTrio is Airbnb’s framework for Jetpack Compose screen architecture in Android. It’s built on top of Mavericks, Airbnb’s open source state management library for Jetpack. In this blog post series, we’ve been breaking down how Trio works to help explain our design decisions, in the hopes that other teams might benefit from aspects of our approach.We recommend starting with Part 1, about Trio’s architecture, and then reading Part 2, about how navigation works in Trio, before you dive into this article. In this third and final part of our series, we’ll discuss…

A feature platform that offers observability and management tools, allows ML practitioners to use a variety of data sources, while handling the complexity of data engineering, and provides low latency streaming.By: Varant Zanoyan, Nikhil Simha RaproluChronon allows ML practitioners to use a variety of data sources as inputs to feature transformations. It handles the complexity of data plumbing, such as batch and streaming compute, provides low latency serving, and offers a host of observability and management tools.Airbnb is happy to announce that Chronon, our ML Feature Platform, is now open source.We’re excited to be making this announcement along with our partners at Stripe, who are earl…

Part two on how we built a Compose based architecture with Mavericks in the Airbnb Android appBy: Eli Hart, Ben Schwab, and Yvonne WongIn the previous post in this series, we introduced you to Trio, Airbnb’s framework for Jetpack Compose screen architecture in Android. Some of the advantages of Trio include:Guarantees type safety when communicating across module boundaries in complex appsCodifies expectations about how ViewModels are used and shared, and what interfaces look like between screensAllows for stable screenshot and UI tests and simple navigation testingCompatible with Mavericks, Airbnb’s open source state management library for Jetpack (Trio is built on top of Mavericks)If you n…

A three part series on how we built a Compose based architecture with Mavericks in the Airbnb Android appBy: Eli Hart, Ben Schwab, Yvonne WongAt Airbnb, we have developed an Android framework for Jetpack Compose screen architecture, which we call Trio. Trio is built on our open-source library Mavericks, which it leverages to maintain both navigation and application state within the ViewModel.Airbnb began development of Trio more than two years ago, and has been using it in production for over a year and a half. It is powering a significant portion of our production screens in Airbnb’s Android app, and has enabled our engineers to create features in 100% Compose UI.In this blog post series, …

How Airbnb achieved a smooth and transparent migration from Buck to Bazel on iOS, with minimal interference to developer workflowsBy: Qing Yang, Andy BartholomewAt Airbnb, we are committed to providing the best experience for our engineers. To offer a cohesive and efficient build experience across all platforms, we’ve decided to adopt Bazel as our build system. Bazel is a robust build system widely utilized in the industry. In alignment with Airbnb’s tech initiatives, both our backend and frontend teams initiated the migration process to Bazel. In the first Bazel post, we start with our iOS development migrating from Buck to Bazel.We’ll describe the migration approach which involved two mai…

KDD (Knowledge and Data Mining) is a flagship conference in data science research. Hosted annually by a special interest group of the Association for Computing Machinery (ACM), it’s where you’ll learn about some of the most ground-breaking developments in data mining, knowledge discovery, and large-scale data analytics.Airbnb had a significant presence at KDD 2023 with two papers accepted into the main conference proceedings and 11 talks and presentations. In this blog post, we’ll summarize our team’s contributions and share highlights from an exciting week of workshops, panel discussions, and more.Deep learning and search rankingEven though search ranking is a problem that researchers have…

How we championed the CRM CI/CD framework integrating Salesforce DX, GIT, BUILDKITE and Vlocity for an enhanced, efficient and continuous delivery with high software quality.By: Sharda Kumari Pramod GavadeIntroductionThe CRM platform offers a robust suite of functionalities for building scalable applications with minimal reliance on complex coding. However, managing and deploying code and configurations within this ecosystem can be challenging, and the constantly evolving nature of the platform presents an extra layer of complexity. This can lead to slow deployment times, difficulty in balancing code and configuration (e.g. Apex classes and triggers vs. validation rules, page layouts), and …

By: Clark WrightIntroductionThese days, as the volume of data collected by companies grows exponentially, we’re all realizing that more data is not always better. In fact, more data, especially if you can’t rely on its quality, can hinder a company by slowing down decision-making or causing poor decisions.With 1.4 billion cumulative guest arrivals as of year-end 2022, Airbnb’s growth pushed us to an inflection point where diminishing data quality began to hinder our data practitioners. Weekly metric reports were difficult to land on time. Seemingly basic metrics like “Active Listings” relied on a web of upstream dependencies. Conducting meaningful data work required significant institutiona…

How Airbnb leverages ML/NLP to extract useful information about listings from unstructured text data to power personalized experiences for guests.By: Hongwei Li and Peng WangIntroductionAt Airbnb, it’s important for us to gather structured data about listings and better understand the data, so we can help Hosts provide great experiences for guests. For example, guests who work remotely need to know if a listing has a suitable workspace and reliable internet, while guests with children might need items like highchairs and cribs. However, not all listings clearly display these attributes, causing there to be a mismatch between what Hosts listings have and what guests are looking for.This is j…

My Journey to Airbnb — Helena ZarazuaGrowing from engineering apprentice to seasoned iOS developerLanguages have always come naturally to Helena Zarazua, who has used this skill to bring people together, whether by teaching English to Chinese businesspeople or by immersing American preschoolers in Spanish. Since then, Helena joined Airbnb through the Connect engineering apprenticeship program and has stayed on as a full-time engineer. She’s picked up new (programming) languages like Swift to specialize in iOS development, and works on features to create a world where anyone can belong anywhere.Read on to hear Helena’s story. from none other than Helena herself.And… action! Becoming my own m…

How Airbnb adopted SwiftUI in our iOS appBryn BodayleWhen constructing an app’s user interface (UI), the choice of framework is incredibly important. The right UI framework can make an app feel smooth, responsive, even delightful, while a UI framework that doesn’t match an app’s needs can make it feel sluggish and broken. This principle extends to developer experience as well; a UI framework with well-designed APIs can enable engineers to express themselves fluently, efficiently, and correctly, while one with the wrong abstractions or inconsistent APIs can make engineers’ jobs more difficult by slowing them down with unnecessary complexity.At Airbnb, we want our mobile apps to provide a wor…

An overview of Airbnb’s Data Framework for faster and more reliable read-heavy workloads.By: Sivakumar Bhavanari, Krish Chainani, Victor Chen, Yanxi Chen, Xiangmin Liang, Anton Panasenko, Sonia Stan, Peggy Zheng and Amre ShakimOverviewThe evolution of Airbnb and its tech stack calls for a scalable and reliable foundation that simplifies the access and processing of complex data sets. Enter Riverbed, a data framework designed for fast read performance and high availability. In this blog series, we will introduce Riverbed, highlighting its objectives, design, and features.Why was Riverbed CreatedThe growth of Airbnb has accelerated the number of databases we operate, the variety of data types…

Chronon — A Declarative Feature Engineering FrameworkA framework for developing production grade features for machine learning models. The purpose of the blog is to provide an overview of core concepts in Chronon.Nikhil Simha RaproluBackgroundAirbnb uses machine learning in almost every product, from ranking search results to intelligently pricing listings and routing users to the right customer support agents.We noticed that feature management was a consistent pain point for the ML Engineers working on these projects. Rather than focusing on their models, they were spending a lot of their time gluing together other pieces of infrastructure to manage their feature data, and still encounteri…

Liwei Guo, Vinicius Carvalho, Anush Moorthy, Aditya Mavlankar, Lishan ZhuThis is the second post in a multi-part series from Netflix. See here for Part 1 which provides an overview of our efforts in rebuilding the Netflix video processing pipeline with microservices. This blog dives into the details of building our Video Encoding Service (VES), and shares our learnings.Cosmos is the next generation media computing platform at Netflix. Combining microservice architecture with asynchronous workflows and serverless functions, Cosmos aims to modernize Netflix’s media processing pipelines with improved flexibility, efficiency, and developer productivity. In the past few years, the video team wit…

By Ricky Gardiner, Alex Hutter, and Katie LefevreSince our previous posts regarding Content Engineering’s role in enabling search functionality within Netflix’s federated graph (the first post, where we identify the issue and elaborate on the indexing architecture, and the second post, where we detail how we facilitate querying) there have been significant developments. We’ve opened up Studio Search beyond Content Engineering to the entirety of the Engineering organization at Netflix and renamed it Graph Search. There are over 100 applications integrated with Graph Search and nearly 50 indices we support. We continue to add functionality to the service. As promised in the previous post, we’…

Michael Lindon, Chris Sanden, Vache Shirikian, Yanjun Liu, Minal Mishra, Martin TingleyHave you ever encountered a bug while streaming Netflix? Did your title stop unexpectedly, or not start at all? In the first installment of this blog series on sequential testing, we described our canary testing methodology for continuous metrics such as play-delay. One of our readers commentedWhat if the new release is not related to a new play/streaming feature? For example, what if the new release includes modified login functionality? Will you still monitor the “play-delay” metric?Netflix monitors a large suite of metrics, many of which can be classified as counts. These include metrics such as the nu…

David J. Berg, Romain Cledat, Kayla Seeley, Shashank Srikanth, Chaoying Wang, Darin YuNetflix uses data science and machine learning across all facets of the company, powering a wide range of business applications from our internal infrastructure and content demand modeling to media understanding. The Machine Learning Platform (MLP) team at Netflix provides an entire ecosystem of tools around Metaflow, an open source machine learning infrastructure framework we started, to empower data scientists and machine learning practitioners to build and manage a variety of ML systems.Since its inception, Metaflow has been designed to provide a human-friendly API for building data and ML (and today AI…

The surprising and not so surprising benefits of generations in the Z Garbage Collector.By Danny Thomas, JVM Ecosystem TeamThe latest long term support release of the JDK delivers generational support for the Z Garbage Collector.More than half of our critical streaming video services are now running on JDK 21 with Generational ZGC, so it’s a good time to talk about our experience and the benefits we’ve seen. If you’re interested in how we use Java at Netflix, Paul Bakker’s talk How Netflix Really Uses Java, is a great place to start.Reduced tail latenciesIn both our GRPC and DGS Framework services, GC pauses are a significant source of tail latencies. That’s particularly true of our GRPC cl…

Evolving from Rule-based Classifier: Machine Learning Powered Auto Remediation in Netflix Data Platformby Binbing Hou, Stephanie Vezich Tamayo, Xiao Chen, Liang Tian, Troy Ristow, Haoyuan Wang, Snehal Chennuru, Pawan DixitThis is the first of the series of our work at Netflix on leveraging data insights and Machine Learning (ML) to improve the operational automation around the performance and cost efficiency of big data jobs. Operational automation–including but not limited to, auto diagnosis, auto remediation, auto configuration, auto tuning, auto scaling, auto debugging, and auto testing–is key to the success of modern data platforms. In this blog post, we present our project on Auto Reme…

By Jose FernandezToday, we are thrilled to announce the release of bpftop, a command-line tool designed to streamline the performance optimization and monitoring of eBPF applications. As Netflix increasingly adopts eBPF [1, 2], applying the same rigor to these applications as we do to other managed services is imperative. Striking a balance between eBPF’s benefits and system load is crucial, ensuring it enhances rather than hinders our operational efficiency. This tool enables Netflix to embrace eBPF’s potential.Introducing bpftopbpftop provides a dynamic real-time view of running eBPF programs. It displays the average execution runtime, events per second, and estimated total CPU % for each…

Michael Lindon, Chris Sanden, Vache Shirikian, Yanjun Liu, Minal Mishra, Martin Tingley1. Spot the DifferenceCan you spot any difference between the two data streams below? Each observation is the time interval between a Netflix member hitting the play button and playback commencing, i.e., play-delay. These observations are from a particular type of A/B test that Netflix runs called a software canary or regression-driven experiment. More on that below — for now, what’s important is that we want to quickly and confidently identify any difference in the distribution of play-delay — or conclude that, within some tolerance, there is no difference.In this blog post, we will develop a statistical…

by Moshe KolodnyIn this post, we’re excited to introduce SafeTest, a revolutionary library that offers a fresh perspective on End-To-End (E2E) tests for web-based User Interface (UI) applications.The Challenges of Traditional UI TestingTraditionally, UI tests have been conducted through either unit testing or integration testing (also referred to as End-To-End (E2E) testing). However, each of these methods presents a unique trade-off: you have to choose between controlling the test fixture and setup, or controlling the test driver.For instance, when using react-testing-library, a unit testing solution, you maintain complete control over what to render and how the underlying services and imp…

Liwei Guo, Anush Moorthy, Li-Heng Chen, Vinicius Carvalho, Aditya Mavlankar, Agata Opalach, Adithya Prakash, Kyle Swanson, Jessica Tweneboah, Subbu Venkatrav, Lishan ZhuThis is the first blog in a multi-part series on how Netflix rebuilt its video processing pipeline with microservices, so we can maintain our rapid pace of innovation and continuously improve the system for member streaming and studio operations. This introductory blog focuses on an overview of our journey. Future blogs will provide deeper dives into each service, sharing insights and lessons learned from this process.The Netflix video processing pipeline went live with the launch of our streaming service in 2007. Since then…

Holden Karau Elizabeth Stone Pedro Duarte Chris Stephens Pallavi Phadnis Lee Woodridge Mark Cho Guil Pires Sujay Jain Tristan Reid Senthilnathan Athinarayanan Bharath Mummadisetty Abhinaya Shetty Judit Lantos Amanuel Kahsay Dao Mi Mick Dreeling Chris Colburn and Agata GryzbekIntroductionEarlier this summer Netflix held our first-ever Data Engineering Forum. Engineers from across the company came together to share best practices on everything from Data Processing Patterns to Building Reliable Data Pipelines. The result was a series of talks which we are now sharing with the rest of the Data Engineering community!You can find each of the talks below with a short description of each, or you ca…

by Aditya Mavlankar, Zhi Li, Lukáš Krasula and Christos BampisHigh dynamic range (HDR) video brings a wider range of luminance and a wider gamut of colors, paving the way for a stunning viewing experience. Separately, our invention of Dynamically Optimized (DO) encoding helps achieve optimized bitrate-quality tradeoffs depending on the complexity of the content.HDR was launched at Netflix in 2016 and the number of titles available in HDR has been growing ever since. We were, however, missing the systematic ability to measure perceptual quality (VMAF) of HDR streams since VMAF was limited to standard dynamic range (SDR) video signals.As noted in an earlier blog post, we began developing an H…

Netflix was thrilled to be the premier sponsor for the 2nd year in a row at the 2023 Conference on Digital Experimentation (CODE@MIT) in Cambridge, MA. The conference features a balanced blend of academic and industry research from some wicked smart folks, and we’re proud to have contributed a number of talks and posters along with a plenary session.Our contributions kicked off with a concept that is crucial to our understanding of A/B tests: surrogates!Our first talk was given by Aurelien Bibaut (with co-authors Nathan Kallus, Simon Ejdemyr and Michael Zhao) in which we discussed how to confidently measure long-term outcomes using short term surrogates in the presence of bias. For example,…

A framework to identify the causal impact of successful visual components.By Billur Engin, Yinghong Lan, Grace Tang, Cristina Segalin, Kelli Griggs, Vi IyengarIntroductionAt Netflix, we want our viewers to easily find TV shows and movies that resonate and engage. Our creative team helps make this happen by designing promotional artwork that best represents each title featured on our platform. What if we could use machine learning and computer vision to support our creative team in this process? Through identifying the components that contribute to a successful artwork — one that leads a member to choose and watch it — we can give our creative team data-driven insights to incorporate into th…

by Jun He, Yingyi Zhang, and Pawan DixitIncremental processing is an approach to process new or changed data in workflows. The key advantage is that it only incrementally processes data that are newly added or updated to a dataset, instead of re-processing the complete dataset. This not only reduces the cost of compute resources but also reduces the execution time in a significant manner. When workflow execution has a shorter duration, chances of failure and manual intervention reduce. It also improves the engineering productivity by simplifying the existing pipelines and unlocking the new patterns.In this blog post, we talk about the landscape and the challenges in workflows at Netflix. We…

Michelle Vu | Web Performance EngineerDetecting, preventing, and resolving performance regressions has been a standard at Pinterest for many years. Over the years, we have seen many examples showing significant business metric movements resulting from performance optimizations and regressions. These concrete examples motivate us to optimize and maintain performance. In particular, fighting regressions was made a priority because we’ve seen countless times that months of hard earned optimizations can easily be wiped out by a regression. Oftentimes, the regression was from a single line of code, and investing a little bit of time to change the implementation brings us back to baseline. In thi…

Adam Obeng | Data Scientist, Data Platform Science; J.C. Zhong | Tech Lead, Analytics Platform; Charlie Gu | Sr. Manager, EngineeringWriting queries to solve analytical problems is the core task for Pinterest’s data users. However, finding the right data and translating an analytical problem into correct and efficient SQL code can be challenging tasks in a fast-paced environment with significant amounts of data spread across different domains.We took the rise in availability of Large Language Models (LLMs) as an opportunity to explore whether we could assist our data users with this task by developing a Text-to-SQL feature which transforms these analytical questions directly into code.How T…

Leif Sigerson | Sr. Data Scientist; Wendy Matheny | Sr. Lead Public Policy Manager;User engagement is a critical signal used by Pinterest and other online platforms to determine which content to show users. However, it is widely known that optimizing purely for user engagement can surface content that is low-quality (e.g., “clickbait”), or even harmful. Our CEO, Bill Ready, explains that if we’re not careful, content ranking can surface the “car crash we can’t look away from”. On the other hand, “if you ask somebody after they saw the crash, ‘you want to see another one?’, the vast majority of people will say ‘Goodness no’”.In this blog, we will discuss Non-Engagement Signals, a critical co…

Adopted by Pinterest multiple user facing surfaces, Ads, and Board.Jianjin Dong | Staff Machine Learning Engineer, Content Quality; Michal Giemza| Machine Learning Engineer, Content Quality; Qinglong Zeng | Senior Engineering Manager, Content Quality; Andrey Gusev | Director, Content Quality; Yangyi Lu | Machine Learning Engineer, Home Feed; Han Sun | Staff Machine Learning Engineer, Ads Conversion Modeling; William Zhao | Software Engineer, Boards Foundation, Jay Ma | Machine Learning Engineer, Ads Lightweight RankingLinkSage: Graph Neural Network based model for Pinterest off-site content semantic embeddingsBackgroundPinterest is the visual inspiration platform where Pinners come to searc…

Monil Mukesh Sanghavi | Software Engineer, Real Time Analytics Team; Xiao Li | Software Engineer, Real Time Analytics Team; Ming-May Hu | Software Engineer, Real Time Analytics Team; Zhenxiao Luo | Software Engineer, Real Time Analytics Team; Kapil Bajaj | Manager, Real Time Analytics TeamAt Pinterest, one of the pillars of the observability stack provides internal engineering teams (our users) the opportunity to monitor their services using metrics data and set up alerting on it. Goku is our in-house time series database providing cost efficient and low latency storage for metrics data. Underneath, Goku is not a single cluster but a collection of sub-service components including:Goku Short…

Yulin Lei | Senior Machine Learning Engineer; Kaili Zhang | Staff Machine Learning Engineer; Sharare Zahtabian | Machine Learning Engineer II; Randy Carlson | Machine Learning Engineer I; Qifei Shen | Senior Staff Machine Learning EngineerIntroductionPinterest strives to deliver high-quality ads and maintain a positive user experience. The platform aims to show ads that align with the user’s interests and intentions, while also providing them with inspiration and discovery. The Ads Engagement Modeling team at Pinterest plays a crucial role in delivering effective advertising campaigns and helping businesses reach their target audience in a meaningful way. The goal of the engagement modeling…

Sam Wang | Sr. Technical Program Manager; Joe Gordon | Sr. Staff Software EngineerAt Pinterest we are continuously looking for ways to improve our developer experience, and we have recently shipped AI-assisted development for everyone while balancing safety, security, and cost. In this blog post, we share our journey of unlocking AI-assisted development, from the initial idea to the General Availability (GA) stage. Join us as we delve into the opportunities, challenges, and successes we encountered along the way.Like many companies, we initially disallowed the use of Large Language Models (LLMs) until we thoroughly evaluated their legal and security implications. During that time, many engi…

Jeremy Krach | Staff Security Engineer, Platform SecurityBackgroundSeveral years ago, Pinterest had a short incident due to oversights in the policy delivery engine. This engine is the technology that ensures a policy document written by a developer and checked into source control is fully delivered to the production system evaluating that policy, similar to OPAL. This incident began a multi-year journey for our team to rethink policy delivery and migrate hundreds of policies to a new distribution model. We shared details about our former policy delivery system in a conference talk from Kubecon 2019.At a high level, there are three important architectural decisions we’d like to bring attent…

Author: Cathy Qian, Aayush Mudgal, Yinrui Li and Jinfeng ZhuangImage from https://unsplash.com/photos/w7ZyuGYNpRQIntroductionAt Pinterest, our mission is to bring everyone the inspiration to create a life they love. People often come to Pinterest when they are considering what to do or buy next. Understanding this evolving user journey while balancing across multiple objectives is crucial to bring the best experience to Pinterest users and is supported by multiple recommendation models, with each providing real-time inference with an overall latency of 200–300 milliseconds. In particular, our machine learning powered ads ranking systems are trying to understand users’ engagement and convers…

A Journey from GBDT to Multi-Task Ensemble DNNAayush Mudgal | Senior Machine Learning Engineer, Ads Ranking Conversion Modeling; Han Sun | Senior Machine Learning Engineer, Ads Ranking Conversion Modeling; Matt Meng | Senior Machine Learning Engineer, Ads Ranking Conversion Modeling; Runze Su | Machine Learning Engineer II, Ads Ranking Conversion Modeling; Jinfeng Zhuang | Staff Machine Learning Engineer, Ads Ranking Conversion ModelingIn this blog post, we will share how we improved Pinterest’s conversion optimization performance by leveraging Deep Neural Networks (DNN), Multi-Task Learning (MTL), state-of-the-art feature interaction modules, in-model ensemble techniques, and user sequence…

Rajath Prasad, Senior Engineering ManagerPinterest serves more than 480M monthly users and has grown to be a global destination for visual inspiration. As Pinterest has grown, so have our storage requirements. In 2020, anticipating the growing needs of the business and to simplify our storage offerings, we decided to consolidate our different key-value systems in the company into a single unified service called KVStore. While KVStore was the client facing abstraction, we also built a storage service called Rockstorewidecolumn: a wide column, schemaless NoSQL database built using RocksDB. This blog post goes into the details of how we built this massively scalable, highly available wide colu…

🔥Pinterest Engineering had a hallmark year 🔥From building new ad formats to launching industry-first inclusive AI technology, Pinterest launched more products in 2023 than in any year in our history. Our Pinterest Engineering Blog goes deeper into the technical learnings and insights behind many of these launches. As we wrap up 2023 and look forward to 2024, we’re sharing a recap of the most-read eng blogs of the year:Building for Inclusivity: The Technical Blueprint of Pinterest’s Multidimensional DiversificationPinterest is now on HTTP/3Lessons from debugging a tricky direct memory leakMLEnv: Standardizing ML at Pinterest Under One ML Engine to Accelerate InnovationPinCompute: A Kubernete…

Better performance, lower cost and less code complexityXiao Li, Kapil Bajaj, Monil Mukesh Sanghavi and Zhenxiao LuoIntroductionIn the dynamic arena of real-time analytics, the need for precision and speed is non-negotiable. Pinterest’s real-time metrics asynchronous data processing pipeline, powering Pinterest’s time series database Goku, stood at the crossroads of opportunity. The mission was clear: identify bottlenecks, innovate relentlessly, and propel our real-time analytics processing capabilities into an era of unparalleled efficiency.BackgroundThe Goku-Ingestor is an asynchronous data processing pipeline that performs multiplexing of metrics data. It performs data validation, denylis…

Improving Efficiency Of Goku Time Series Database at Pinterest (Part — 1)Monil Mukesh Sanghavi, Kapil Bajaj, Ming-May Hu, Xiao Li and Zhenxiao LuoIntroductionAt Pinterest, one of the pillars of the observability stack provides internal engineering teams (our users) the opportunity to monitor their services using metrics data and set up alerting on it. Goku is our in-house time series database providing cost efficient and low latency storage for metrics data. Underneath, Goku is not a single cluster but a collection of sub-service components including:Goku Short Term (in-memory storage for the last 24 hours of data and referred to as GokuS)Goku Long Term (ssd and hdd based storage for older …

Jeff Xiang | Software Engineer, Logging PlatformVahid Hashemian | Software Engineer, Logging PlatformJesus Zuniga | Software Engineer, Logging PlatformAt Pinterest, data is ingested and transported at petabyte scale every day, bringing inspiration for our users to create a life they love. A central component of data ingestion infrastructure at Pinterest is our PubSub stack, and the Logging Platform team currently runs deployments of Apache Kafka and MemQ. Over the years, operational experience has taught us that our customers and business would greatly benefit from a unified PubSub interface that the platform team owns and maintains, so that application developers can focus on application l…

[...]

Read More...

The post Building new custom silicon for Meta’s AI workloads appeared first on Engineering at Meta.

[...]

Read More...

The post Introducing the next-gen Meta Training and Inference Accelerator appeared first on Engineering at Meta.

Bandwidth estimation (BWE) and congestion control play an important role in delivering high-quality real-time communication (RTC) across Meta’s family of apps. We’ve adopted a machine learning (ML)-based approach that allows us to solve networking problems holistically across cross-layers such as BWE, network resiliency, and transport. We’re sharing our experiment results from this approach, some of [...]

Read More...

The post Optimizing RTC bandwidth estimation with machine learning appeared first on Engineering at Meta.

Systems and application logs play a key role in operations, observability, and debugging workflows at Meta. Logarithm is a hosted, serverless, multitenant service, used only internally at Meta, that consumes and indexes these logs and provides an interactive query interface to retrieve and view logs. In this post, we present the design behind Logarithm, and [...]

Read More...

The post Logarithm: A logging engine for AI training workflows and services appeared first on Engineering at Meta.

Marking a major investment in Meta’s AI future, we are announcing two 24k GPU clusters. We are sharing details on the hardware, network, storage, design, performance, and software that help us extract high throughput and reliability for various AI workloads. We use this cluster design for Llama 3 training. We are strongly committed to open [...]

Read More...

The post Building Meta’s GenAI Infrastructure appeared first on Engineering at Meta.

Slow build times and inefficiencies in packaging and distributing execution files were costing our ML/AI engineers a significant amount of time while working on our training stack. By addressing these issues head-on, we were able to reduce this overhead by double-digit percentages. In the fast-paced world of AI/ML development, it’s crucial to ensure that our [...]

Read More...

The post Improving machine learning iteration speed with faster application build and packaging appeared first on Engineering at Meta.

At Meta, the quest for faster model training has yielded an exciting milestone: the adoption of Lazy Imports and the Python Cinder runtime. The outcome? Up to 40 percent time to first batch (TTFB) improvements, along with a 20 percent reduction in Jupyter kernel startup times. This advancement facilitates swifter experimentation capabilities and elevates the [...]

Read More...

The post Lazy is the new fast: How Lazy Imports and Cinder accelerate machine learning at Meta appeared first on Engineering at Meta.

What’s going on with generative AI (GenAI) at Meta? And what does the future have in store? In this episode of the Meta Tech Podcast, Meta engineer Pascal Hartig (@passy) speaks with Devi Parikh, an AI research director at Meta. They cover a wide range of topics, including the history and future of GenAI and the most [...]

Read More...

The post How Meta is advancing GenAI appeared first on Engineering at Meta.

HawkEye is the powerful toolkit used internally at Meta for monitoring, observability, and debuggability of the end-to-end machine learning (ML) workflow that powers ML-based products. HawkEye supports recommendation and ranking models across several products at Meta. Over the past two years, it has facilitated order of magnitude improvements in the time spent debugging production issues. [...]

Read More...

The post AI debugging at Meta with HawkEye appeared first on Engineering at Meta.

Meta is building for the future of AI at every level — from hardware like MTIA v1, Meta’s first-generation AI inference accelerator to publicly released models like Llama 2, Meta’s next-generation large language model, as well as new generative AI tools like Code Llama. Delivering next-generation AI products and services at Meta’s scale also requires [...]

Read More...

The post Watch: Meta’s engineers on building network infrastructure for AI appeared first on Engineering at Meta.

Olivia Wu, Meta’s Technical Lead for Infra Silicon, discusses the design and development of Meta’s first-generation AI inference accelerator. [...]

Read More...

The post How Meta is creating custom silicon for AI appeared first on Engineering at Meta.

Meta presents Chakra execution traces, an open graph-based representation of AI/ML workload execution, laying the foundation for benchmarking and network performance optimization. Chakra execution traces represent key operations, such as compute, memory, and communication, data and control dependencies, timing, and resource constraints. In collaboration with MLCommons, we are seeking industry-wide adoption for benchmarking. Meta open [...]

Read More...

The post Using Chakra execution traces for benchmarking and network performance optimization appeared first on Engineering at Meta.

We’re introducing Arcadia, Meta’s unified system that simulates the compute, memory, and network performance of AI training clusters. Extracting maximum performance from an AI cluster and increasing overall efficiency warrants a multi-input system that accounts for various hardware and software parameters across compute, storage, and network collectively. Arcadia gives Meta’s researchers and engineers valuable insights [...]

Read More...

The post Arcadia: An end-to-end AI system performance simulator appeared first on Engineering at Meta.

[...]

Read More...

The post Code Llama: Meta’s state-of-the-art LLM for coding appeared first on Engineering at Meta.

[...]

Read More...

The post Meta Connect 2023: September 27 – 28 appeared first on Engineering at Meta.

As engineers working at Spotify, we frequently find ourselves explaining our robust data platform to fellow professionals who are contemplating [...]

The post Data Platform Explained appeared first on Spotify Engineering.

TL;DR We summarize the findings in our recent paper, Schultzberg, Ankargren, and Frånberg (2024), where we explain how Spotify’s decision-making [...]

The post Risk-Aware Product Decisions in A/B Tests with Multiple Metrics appeared first on Spotify Engineering.

Introduction At Spotify, we’re dedicated to delivering a unified experience to our customers — which can sometimes be at odds [...]

The post Applying the Facade Pattern on Spotify for Artists appeared first on Spotify Engineering.

Each year, we aim to elevate the Spotify Wrapped experience for our users, crafting captivating data stories and pushing the [...]

The post Exploring the Animation Landscape of 2023 Wrapped appeared first on Spotify Engineering.

TL;DR Let’s cap the year by putting a spotlight on some of the valuable work people outside of Spotify are [...]

The post Q&A with the Maintainers of the Spotify FOSS Fund appeared first on Spotify Engineering.

Large sets of diverse data present several challenges for clustering, but through a novel approach that combines dimensionality reduction, recursion, and supervised machine learning, we’ve been able to obtain strong results. The post Recursive Embedding and Clustering appeared first on Spotify Engineering.

Sometimes a shiny new feature brings more harm than good. The reason is simple — application size. Any addition to the application — be it code for a new feature, an image resource for a new button or even support for a new localization — contributes to the increase of the application’s size.

The post The What, Why, and How of Mastering App Size appeared first on Spotify Engineering.

This week at KubeCon + CloudNativeCon in Chicago, the Cloud Native Computing Foundation announced that Spotify won their Top End User Award. The post Spotify Wins CNCF Top End User Award for the Second Time! appeared first on Spotify Engineering.

Spotify runs paid marketing campaigns across the globe on various digital ad platforms. Being efficient with our marketing budget is critical for maximizing the return on ad spend.

The post How We Automated Content Marketing to Acquire Users at Scale appeared first on Spotify Engineering.

For the past decade, Spotify has used approximate nearest-neighbor search technology to power our personalization, recommendation, and search systems. These technologies allow engineers and researchers to build systems that recommend similar items (like similar tracks, artists, or albums) without needing to run slow and expensive machine learning algorithms in real time. Spotify led the pack [...]

The post Introducing Voyager: Spotify’s New Nearest-Neighbor Search Library appeared first on Spotify Engineering.

TL;DR It’s back! Last year, we created the Spotify FOSS Fund to help support the free and open source software projects we use at Spotify. We’re excited to announce that the fund has returned for 2023, and the recipients have been selected. This year, the fund’s 100,000 EUR are going to the following four projects: [...]

The post Announcing the Recipients of the 2023 Spotify FOSS Fund appeared first on Spotify Engineering.

What is “Exclude from your taste profile”? Are you a parent forced to put the Bluey theme song on repeat? Do you work from home and play lofi beats or ambient piano music? Do you fall asleep to peaceful ambient noises? Are you bummed out when these songs come up as your most listened to [...]

The post Exclude from Your Taste Profile appeared first on Spotify Engineering.

At Spotify, we have experimented with the Bazel build system since 2017. Over the years, the project has matured, and support for more languages and ecosystems have been added, thanks to the open source community and its maintainers at Google. In 2020, it became clear that the future of our client development required a unified [...]

The post Switching Build Systems, Seamlessly appeared first on Spotify Engineering.

How does Spotify manage a sprawling tech ecosystem made up of 500+ squads managing over 10,000 software components in production? Last November, Google Cloud distinguished engineer Kelsey Hightower met with Spotify chief architect Niklas Gustavsson at Spotify’s office in Gothenburg, Sweden, to talk about just that. Watch the video below to hear the two go [...]

The post Managing Software at Scale: Kelsey Hightower Talks with Niklas Gustavsson about Fleet Management appeared first on Spotify Engineering.

Learn more about how Ripple is centralizing data and turning it into compelling insights to support business growth.

Say hello to BigGeo, SFS and SignalFlare.ai, the top startups in our 2024 competition.

The post Meet the 2024 Snowflake Startup Challenge Finalists appeared first on Snowflake.

Learn how Snowflake can help support compliance.

The post How the EU’s Digital Operations Resilience Act (DORA) Aims To Strengthen Operational Resilience in Financial Services appeared first on Snowflake.

Introducing Snowflake Arctic, a top-tier enterprise focused LLM pushing the frontiers of cost-effective training and openness.

The post Snowflake Arctic: The Best LLM for Enterprise AI — Efficiently Intelligent, Truly Open appeared first on Snowflake.

If you’re a Snowflake customer using ServiceNow’s popular SaaS application to manage your digital workloads, data integration is about to get a lot easier — and less costly. Snowflake has announced the general availability of the Snowflake Connector for ServiceNow, available on Snowflake Marketplace. The connector provides immediate access to up-to-date ServiceNow data without the […]

The post Ensono Cuts Costs with Snowflake Connector for ServiceNow appeared first on Snowflake.

Learn how Magnite leveraged Snowgrid to migrate across regions and achieve business continuity.

The post Magnite’s Seamless Petabyte Scale Cross-Region Migration with Snowgrid appeared first on Snowflake.

Snowflake offers a promising solution to optimize cost without compromising efficiency.

The post How to Navigate the Costs of Legacy SIEMS with Snowflake appeared first on Snowflake.

Prioritizing a user-friendly developer experience for greater productivity.

The post Snowflake’s New Python API Empowers Data Engineers to Build Modern Data Pipelines with Ease appeared first on Snowflake.

The urgency around generative AI demands focus on first-party data. Here's how you can lean in.

The post How Marketers Can Enter the First-Party Data Era with Confidence appeared first on Snowflake.

Available to the open source community under an Apache 2.0 license.

The post Snowflake Launches the World’s Highest-Ranked Practical Text-Embedding Model for Retrieval use Cases appeared first on Snowflake.

In March, Snowflake announced exciting releases, including advances in AI and ML with new features in Snowflake Cortex, new governance and privacy features in Snowflake Horizon, and broader developer support with the Snowflake CLI. Read on to learn more about everything we announced last month. Snowflake Cortex LLM Functions – in public preview Snowflake Cortex […]

The post New Snowflake Features Released in March 2024 appeared first on Snowflake.

A new AI-powered SQL assistant that simplifies data analysis and maintains robust governance.

The post A Breakthrough AI-Powered SQL Assistant appeared first on Snowflake.

Expanding assurance program coverage in cloud security and automotive cybersecurity requirements

The post Snowflake Achieves C5 and TISAX Certifications, Expanding Compliance Scope in Germany appeared first on Snowflake.

Deep dive for using DNS with Cloudera Data Services on Azure

The post DNS Zone Setup Best Practices on Azure appeared first on Cloudera Blog.

Bucket Layouts in Apache Ozone

The post Apache Ozone – A Multi-Protocol Aware Storage System appeared first on Cloudera Blog.

AI is helping insurance companies better deal with DUIs when writing policies.

Experience the game-changing impact of AI on data analytics in 2024. Elevate your strategy now!

AI technology has led to breakthroughs in managed detection solutions, which is helping fight cyberattacks.

AI technology is helping improve public safety, which can prevent another accident like the Houston Metro bus incident.

AI technology has created a number of new opportunities for the education sector, which is creating new career opportunities as well.

AI technology has significantly improved image recognition technology, which helps with modern security.

Unleash the power of new AI startups transforming legal solutions, surpassing ChatGPT's performance. Elevate your legal processes today!

AI can help photographers come up with better headshots, which is a huge opportunity for many professionals.

Lawyers are becoming more dependent on AI technology, which is helping them get better settlements for customers in ride-sharing accidents.

Big data technology has significantly changed the state of American politics.

AI technology is leading to major breakthroughs in telehealth, which will be very beneficial for healthcare providers across the world.

AI technology has led to major changes in mobile technology and has made it easier for mobile developers to monetize their apps.

More marketing agencies are embracing Hubspot and other platforms that use AI technology to offer better solutions to their clients.

Reading Time: 3 minutes Overview This Blog will see how we could use Spring WebFlux WebClient for making non-blocking HTTP requests. What Is the WebClient? Just put, the WebClient class which provides a common method for sending or receiving data from any local, intranet, or Internet resource which is identified by a URI. The WebClient class uses the WebRequest class which provides the access to resources. It is an interface that stands for Continue Reading

The post Spring WebFlux — WebClient – Duplicate – [#180397] appeared first on Knoldus Blogs.

Reading Time: < 1 minute The post An Introduction to Kafka’s Internals – Duplicate – [#159280] appeared first on Knoldus Blogs.

Machine learning has revolutionized email spam detection, offering sophisticated solutions to combat the continuous influx of unwanted emails. Deep learning techniques, with their advanced pattern recognition capabilities, have significantly improved spam detection accuracy, ensuring that users receive only relevant and valuable information in their inboxes. Explore how machine learning is enhancing email security and reducing spam effectively.

The post Using Machine Learning to Distinguish Between Spam and Legitimate Emails appeared first on WeCloudData.

Machine learning is revolutionizing traffic prediction, enhancing route planning and reducing congestion in urban commuting. Explore advanced algorithms like Uni-LSTM and BiLSTM for accurate forecasts, along with Google Maps' integration of deep learning for improved ETA accuracy. Discover the practical utility of machine learning in everyday life.

The post Navigating your way: Traffic Prediction with Machine Learning appeared first on WeCloudData.

Introduction In recent years, the landscape of employment has undergone a profound transformation, with remote work emerging as a viable and increasingly popular option for professionals across various industries. The advent of advanced technologies and shifting attitudes towards work-life balance have paved the way for remote work to become a mainstream phenomenon. In this blog, […]

The post Analyzing Remote Work Opportunities in Today’s North America Job Market appeared first on WeCloudData.

Explore how energy management is evolving with advanced solar power generation forecasting, enabling more efficient use of renewable resources and optimizing grid performance. Dive into the future of sustainable energy solutions.

The post Energy Management: Solar Power Generation Forecasting appeared first on WeCloudData.

Discover how machine learning is revolutionizing smart agriculture, enhancing crop yields, optimizing resources, and making farming more sustainable. Learn about the latest technologies and trends in agriculture.

The post Smart Agriculture: How Machine Learning is Helping Farming appeared first on WeCloudData.

Weather forecasting is a complex science that involves analyzing vast amounts of data from various sources, including satellites, weather stations, and radar systems.

The post More Accurate Predictions for Your Day: Machine Learning in Weather Forecasting appeared first on WeCloudData.

For those of you who read my last blog, I looked at how the data science job market had performed in 2023 – at least since August when the data collection began. The end of the calendar year provided a fitting moment to take a step back and assess what had transpired in the ensuing […]

The post Data Science Job Market Trends: Navigating the Shifts from 2023 to 2024 appeared first on WeCloudData.

Explore the transformative impact of machine learning on the entertainment industry, from personalized content recommendations to AI-driven music and film production, enhancing viewer experiences.

The post Machine Learning in Entertainment: Customizing Movie Recommendations appeared first on WeCloudData.

Online Shopping Redefined: Predicting Shopper Behavior with Machine Learning

The post Online Shopping Redefined: Predicting Shopper Behavior with Machine Learning appeared first on WeCloudData.

Revolutionize healthcare with machine learning for early disease detection. Explore cutting-edge solutions improving everyday health, ensuring timely interventions for a healthier future. #HealthTech #MachineLearning #DiseaseDetection

The post Enhancing Everyday Healthcare with Machine Learning: Early Disease Detection appeared first on WeCloudData.

Machine Learning Engineer: Navigate the evolving landscape of ML in 2024 with insights from WeCloudData's workshop. Explore the structured ML pipeline, data engineering essentials, model engineering nuances, ML Ops challenges, and diverse tools. Build robust ML systems and embark on a successful journey into the dynamic world of ML engineering.

The post Navigating the Path to Become a Machine Learning Engineer in 2024: A Step-by-Step Guide appeared first on WeCloudData.

"Discover Data Science, Engineering, and Analysis with WeCloudData. Uncover unique roles, skills, and tools in specialized bootcamps. Propel your career in decoding insights, building data infrastructure, and actionable intelligence

The post Different between Data Science, Engineering, and Analysis appeared first on WeCloudData.

Data Job: Elevate your career with a compelling resume tailored for success. Uncover the transformative power of OpenAI API in crafting dynamic content that captivates hiring managers. Explore the art of showcasing data skills, quantifying achievements, and aligning with job descriptions.

The post Crafting an Effective Resume with OpenAI appeared first on WeCloudData.

DevOps Engineer: Navigate the dynamic world of seamless software development in 2024. Uncover the role, skills, and knowledge essential for success. Craft your learning path with WeCloudData's curated DevOps Engineering program, exploring version control, CI/CD, containerization, orchestration, and Infrastructure as Code. Embark on a transformative journey toward mastering the art of DevOps Engineering for a thriving career in technology.

The post Cloud Engineering and DevOps: Insights for 2024 appeared first on WeCloudData.

Machine Learning revolutionizes fraud detection in the banking industry. Explore advanced algorithms shaping the future of credit card fraud detection for enhanced security and proactive risk management.

The post Fraud Detection in the Banking Industry: Leveraging Machine Learning for Credit Card Fraud Detection appeared first on WeCloudData.

Machine Learning Platforms (ML Platforms) have the potential to be a key component in achieving production ML at scale without large technical debt, yet ML Platforms are not often understood. This document outlines the key concepts and paradigm shifts that led to the conceptualization of ML Platforms in an effort to increase an understanding of these platforms and how they can best be applied.

Technical Debt and development velocity defined

Development Velocity

Machine learning development velocity refers to the speed and efficiency at which machine learning (ML) projects progress from the initial concept to deployment in a production environment. It encompasses the entire lifecycle of a ma…

I had the pleasure of being one of the speakers at GOTO Amsterdam 2023 where I talked about Why Most Data Projects Fail & How to Avoid It and I can’t wait to share this talk with you! Abstract: Unfortunately, the majority of data projects fail. Yet, they fail for the same reasons. Most […]

https://youtu.be/ayAGiPd2zq4?si=o0SHbsbT0-Pmdkqd This week on Unapologetically Technical, I had the wonderful pleasure of interviewing Gunnar Morling, the creator of the Billion Row Challenge and Senior Staff Software Engineer at Decodable. In this episode, we talk about why it is so important to stay in a position long enough to gain experience and see the success or failure of decisions. […]

https://youtu.be/ZJF7zLvH6-w?si=YHBTQ7B7XB2zwkrq It has been quite a while, but we’re finally back to a new episode this year! In this episode of Unapologetically Technical, I interview Tom Scott, the Founder and CEO of Streambased. Join us as we talk about distributed systems and how he created distributed or what we call the Monte Carlo simulations. We […]

https://youtu.be/0WAfevbtdeY?si=YbN7DhD3ApqoNhf3 The premier of my latest talk covering The State of Data Engineering. I go through the history of the industry to see where we’re heading. This starts with data warehousing and goes into data science. I finish off by showing how data engineering can avoid the same fate as data warehousing and data science. […]

https://youtu.be/UgzFYMDV36A?si=AOv16-nAJ2yuSlbS What better year to start the Christmas season than to drop a new episode of Unapologetically Technical! In this episode, I interview Stephane Derosiaux from Conduktor. We talk about his time evolving architectures and creating real-time systems at Auchan (grocery) and Adeo/Leroy Merlin (Home Improvement). We discuss the issues of British food and how […]

https://youtu.be/6JwMxovXUjg?si=ghQ5MMT6Cup9pIzu Another month, another episode! In this episode of Unapologetically Technical, I interview Matteo Merli the co-creator of Apache Pulsar and CTO of StreamNative. We talk about his interest in creating communication protocols and how that morphed into creating Apache Pulsar. He shares why Pulsar was created at Yahoo and how they convinced and managed […]

https://youtu.be/gmOxIAt0kJA?si=Q95ZCyEaIiNA7zLL Unapologetically Technical is finally back with a new episode! In this episode of Unapologetically Technical, I had the pleasure of interviewing Neil Avery from Liquidlabs. We discussed his experiences creating grid computing systems at major banks like Royal Bank of Scotland and Deutchebank, as well as his journey to founding a startup called Logscape […]

Today, we’re excited to announce the availability of Meta Llama 3 inference on AWS Trainium and AWS Inferentia based instances in Amazon SageMaker JumpStart. The Meta Llama 3 models are a collection of pre-trained and fine-tuned generative text models. Amazon Elastic Compute Cloud (Amazon EC2) Trn1 and Inf2 instances, powered by AWS Trainium and AWS […]

As more powerful large language models (LLMs) are used to perform a variety of tasks with greater accuracy, the number of applications and services that are being built with generative artificial intelligence (AI) is also growing. With great power comes responsibility, and organizations want to make sure that these LLMs produce responses that align with […]

In today’s data-driven landscape, the efficiency and accessibility of querying tools play a crucial role in driving businesses forward. Amazon Redshift recently announced integration with Visual Studio Code (), an action that transforms the way data practitioners engage with Amazon Redshift and reshapes your interactions and practices in data management. This innovation not only unlocks […]

We are excited to announce the general availability of two advanced recipes in Amazon Personalize, User-Personalization-v2 and Personalized-Ranking-v2 (v2 recipes), which are built on the cutting-edge Transformers architecture to support larger item catalogs with lower latency. In this post, we summarize the new enhancements, and guide you through the process of training a model and providing recommendations for your users.

Embeddings are integral to various natural language processing (NLP) applications, and their quality is crucial for optimal performance. They are commonly used in knowledge bases to represent textual data as dense vectors, enabling efficient similarity search and retrieval. In Retrieval Augmented Generation (RAG), embeddings are used to retrieve relevant passages from a corpus to provide […]

Amazon CodeCatalyst integrates continuous integration and deployment (CI/CD) by bringing key development tools together on one platform. With the entire application lifecycle managed in one tool, CodeCatalyst empowers rapid, dependable software delivery. CodeCatalyst offers a range of actions which is the main building block of a workflow, and defines a logical unit of work to […]

Large language models (LLMs) are making a significant impact in the realm of artificial intelligence (AI). Their impressive generative abilities have led to widespread adoption across various sectors and use cases, including content generation, sentiment analysis, chatbot development, and virtual assistant technology. Llama2 by Meta is an example of an LLM offered by AWS. Llama […]

In today’s data-driven landscape, managing and analyzing vast amounts of data, especially logs, is crucial for organizations to derive insights and make informed decisions. However, handling this data efficiently presents a significant challenge, prompting organizations to seek scalable solutions without the complexity of infrastructure management. Amazon OpenSearch Serverless lets you run OpenSearch in the AWS […]

Imagine harnessing the power of advanced language models to understand and respond to your customers’ inquiries. Amazon Bedrock, a fully managed service providing access to such models, makes this possible. Fine-tuning large language models (LLMs) on domain-specific data supercharges tasks like answering product questions or generating relevant content. In this post, we show how Amazon […]

AWS Glue is a fully managed, serverless data integration service provided by Amazon Web Services (AWS) that uses Apache Spark as one of its backend processing engines (as of this writing, you can use Python Shell, Spark, or Ray). Data skew occurs when the data being processed is not evenly distributed across the Spark cluster, […]

Organizations often offer support in multiple languages, saying “contact us for translations.” However, customers who don’t speak the predominant language often don’t know that translations are available or how to request them. This can lead to poor customer experience and lost business. A better approach is proactively providing information in multiple languages so customers can […]

This is a guest post co-authored with Kanehito Miyake, Engineer at Fujitsu Japan. Fujitsu Limited was established in Japan in 1935. Currently, we have approximately 120,000 employees worldwide (as of March 2023), including group companies. We develop business in various regions around the world, starting with Japan, and provide digital services globally. To provide a […]

Numerous customers face challenges in managing diverse data sources and seek a chatbot solution capable of orchestrating these sources to offer comprehensive answers. This post presents a solution for developing a chatbot capable of answering queries from both documentation and databases, with straightforward deployment. Amazon Bedrock is a fully managed service that offers a choice […]

As of April 30, 2024 Amazon Q Business is generally available. Amazon Q Business is a conversational assistant powered by generative artificial intelligence (AI) that enhances workforce productivity by answering questions and completing tasks based on information in your enterprise systems. Your employees can access enterprise content securely and privately using web applications built with […]

In the fast-paced world of customer service, efficiency and accuracy are paramount. After each call, contact center agents often spend up to a third of the total call time summarizing the customer conversation. Additionally, manual summarization can lead to inconsistencies in the style and level of detail due to varying interpretations of note-taking guidelines. This […]

This post is a continuation of our series on scaling your relational database for software as a service (SaaS). SaaS providers commonly use relational databases, such as Amazon Relational Database Service (Amazon RDS) and Amazon Aurora, in their solutions. In Part 1, we looked at some common ways to scale or optimize your relational database […]

One of the challenges that software as a service (SaaS) providers face as their business grows is how to maintain their tenants’ experience. This includes ensuring acceptable performance and response times as the tenant base grows. Relational databases, such as Amazon Relational Database Service (Amazon RDS) and Amazon Aurora, are commonly used by SaaS providers. […]

You can use AWS Database Migration Service (AWS DMS) for many use cases, such as migrating from legacy or on-premises databases to managed cloud services, replicating ongoing data changes from online transaction processing (OLTP) databases such as Amazon Relational Database Service (Amazon RDS) to an online analytical processing (OLAP) data warehouse such as Amazon Redshift, […]

Amazon DocumentDB (with MongoDB compatibility) is a fully managed native JSON document database that makes it easy and cost effective to operate critical document workloads at virtually any scale without managing infrastructure. Amazon DocumentDB simplifies your architecture by providing built-in security best practices, continuous backups, and native integrations with other AWS services. You can enhance […]

Today, we’re excited to announce general availability of Amazon Q data integration in AWS Glue. Amazon Q data integration, a new generative AI-powered capability of Amazon Q Developer, enables you to build data integration pipelines using natural language. This reduces the time and effort you need to learn, build, and run data integration jobs using […]

We believe generative artificial intelligence (AI) has the potential to transform virtually every customer experience. To make this possible, we’re rapidly innovating to provide the most comprehensive set of capabilities across the three layers of the generative AI stack. This includes the bottom layer with infrastructure to train Large Language Models (LLMs) and other Foundation […]

Today, we announced the General Availability of Amazon Q, the most capable generative AI powered assistant for accelerating software development and leveraging companies’ internal data. “During the preview, early indications signaled Amazon Q could help our customers’ employees become more than 80% more productive at their jobs; and with the new features we’re planning on […]

In the evolving landscape of blockchain technology, understanding the intricacies of node deployment on AWS is paramount in order to be able to interact with the blockchain. In this post, we provide a comprehensive overview of the role nodes serve in blockchain networks, cover the spectrum of available node types, discuss use cases, and present […]

Amazon Relational Database Service (Amazon RDS) for Oracle is a fully managed commercial database that makes it straightforward to set up, operate, and scale Oracle database deployments in the AWS Cloud. Amazon RDS automation manages time-consuming, repetitive administration tasks like provisioning, backups, software patching, monitoring, and compute scaling, allowing you to focus on tasks and […]

This is a guest post co-authored with Ville Tuulos (Co-founder and CEO) and Eddie Mattia (Data Scientist) of Outerbounds. To build a production-grade AI system today (for example, to do multilingual sentiment analysis of customer support conversations), what are the primary technical challenges? Historically, natural language processing (NLP) would be a primary research and development […]

This blog post is co-written with Pradeep Prabhakaran from Cohere. Today, we are excited to announce that Cohere Command R and R+ foundation models are available through Amazon SageMaker JumpStart to deploy and run inference. Command R/R+ are the state-of-the-art retrieval augmented generation (RAG)-optimized models designed to tackle enterprise-grade workloads. In this post, we walk through how […]

The construction of big data applications based on open source software has become increasingly uncomplicated since the advent of projects like Data on EKS, an open source project from AWS to provide blueprints for building data and machine learning (ML) applications on Amazon Elastic Kubernetes Service (Amazon EKS). In the realm of big data, securing […]

https://preview.redd.it/nqeu36i4z6yc1.png?width=2988&format=png&auto=webp&s=4504810720ebf4d5d77b24425eb4b879ff0e2d18 hello everyone, i just completed a simple containerized data pipeline using postgres, dbt, airbyte, looker and docker. let me know what you guys think. view project here submitted by /u/mustafaotaru [link] [comments]

submitted by /u/andras_gerlits [link] [comments]

I'm tasked to build an intuitive and affordable data governance solution, on an interconnectable platform-based ecosystem. Target is to make data governance tools more accessible and user-friendly for smaller businesses. What are the key features I should consider in this case? What would be the technical complexities? Any user adaptation issues I should think of? What should be the various deployment approaches that should be available to customers, especially those who have strict data residency considerations given regulato submitted by /u/Impossible-Film9095 [link] [comments]

PyKX may be your answer. We're hosting a livestream next Wednesday on the topic, so feel free to join! Link: https://www.linkedin.com/events/usingpykxtobringthepowerofkdb-t7190831080357167105 In this session, we'll guide you through: Installation and Setup of PyKX Creating PyKX Tables Querying, Aggregating, and Joining in PyKX Large-Scale Database Creation Maintenance Strategies submitted by /u/tech_advocate [link] [comments]

Hello. Does anyone from where can you get data about restaurants/cafes/fast foods/etc? I've been looking everywhere I could, but for the love of me can't find anything good except for Google Places (which sucks, because responses are limited in count, it's expensive and you can't cache their results in any way). Scoured through kaggle - some are usable, but only as a demo, not an up-to-date API or anything remotely close to it. I thought about using data.gov sites, but parsing and finding actually decent quality data is so complex it's almost not worth bothering to do it. Thanks! submitted by /u/Kojimba228 [link] [comments]

Hello. Does anyone from where can you get data about restaurants/cafes/fast foods/etc? I've been looking everywhere I could, but for the love of me can't find anything good except for Google Places (which sucks, because responses are limited in count, it's expensive and you can't cache their results in any way). Scoured through kaggle - some are usable, but only as a demo, not an up-to-date API or anything remotely close to it. I thought about using data.gov sites, but parsing and finding actually decent quality data is so complex it's almost not worth bothering to do it. Thanks! submitted by /u/Kojimba228 [link] [comments]

I'm currently implementing a data orchestration tool and considering transitioning to Mage AI due to its easy integration with dbt. Previously, I've been working with Dagster. I'd appreciate it if anyone could share their experiences using Mage AI in a production environment. What have been your challenges and successes? Any tips or advice would also be greatly appreciated! submitted by /u/Ecstatic-Zucchini-53 [link] [comments]

Hello, I am currently working on a Research paper and I need help in finding a dataset on Black Friday sales, already used the dataset from Kaggle but as per my Thesis Supervisor it is too simple too use and now I am have very less time to search for one...Need assistance. submitted by /u/Zestyclose_Owl_9080 [link] [comments]

Extracting and structuring text elements with high accuracy using small modelsImage generated by an AI by the authorIn this post, I’ll introduce a paradigm recently developed at Anaplan for extracting temporal information from natural language text, as part of an NLQ (natural language query) project. While I will focus on time extraction, the paradigm is versatile and applicable for parsing various unstructured texts and extracting diverse patterns of information. This includes named entity recognition, text-to-SQL conversion, quantity extraction, and more.The paradigm's core lies in constructing a flexible pipeline, which provides maximal flexibility, making it easy to fine-tune a model to…

Have you encountered a problem where a 1 GB transformer-based model increases even up to 8 GB when deployed using Docker containerization?Continue reading on Towards Data Science »

Or how to “eliminate” human annotatorsImage generated by DALL·EMotivationHigh-level overview of InstructGPT with human annotated outputs and ranking for supervised learning and reward model training | Source: Training language models to follow instructions with human feedback.As Large Language Models (LLMs) revolutionize our life, the growth of instruction-tuned LLMs faces significant challenges: the critical need for vast, varied, and high-quality datasets. Traditional methods, such as employing human annotators to generate datasets — a strategy used in InstructGPT (image above)— face high costs, limited diversity, creativity, and allignment challenges. To address these limitations, the Se…

The final chapter in a comprehensive, practical guide to real-world applications of CLV analysis & predictionContinue reading on Towards Data Science »

Four advanced tricks to give your data science and machine learning classes the edge you never knew they neededContinue reading on Towards Data Science »

A step-by-step guide on building a team of AI agents that automate and refine the search and selection process matching job seeker’s skillsContinue reading on Towards Data Science »

The digital world can’t exist without the natural resources to run it. What are the costs of the tech we’re using to build and run AI?Photo by ANGELA BENITO on UnsplashThere’s a core concept in machine learning that I often tell laypeople about to help clarify the philosophy behind what I do. That concept is the idea that the world changes around every machine learning model, often because of the model, so the world the model is trying to emulate and predict is always in the past, never the present or the future. The model is, in some ways, predicting the future — that’s how we often think of it — but in many other ways, the model is actually attempting to bring us back to the past.I like t…

A beginner-friendly introduction with Python codeThis is the 3rd article in a larger series on Full Stack Data Science (FSDS). In the previous post, I introduced a 5-step project management framework for building machine learning (ML) solutions. While ML may bring to mind fancy algorithms and technologies, the quality of an ML solution is determined by the quality of the available data. This raises the need for data engineering (DE) skills in FSDS. This article will discuss the most critical DE skills in this context and walk through a real-world example.Photo by the blowup on UnsplashFull Stack Data Science (FSDS) involves managing and implementing ML solutions end-to-end. Data engineering…

Top 3 lessons learned: the problem, the size, and the dataPicture by Snapwire, on PexelsThis blog post is an updated version of part of a conference talk I gave on GOTO Amsterdam last year. The talk is also available to watch online.As a Machine Learning Product Manager, I am fascinated by the intersection of Machine Learning and Product Management, particularly when it comes to creating solutions that provide value and positive impact on the product, company, and users. However, managing to provide this value and positive impact is not an easy job. One of the main reasons for this complexity is the fact that, in Machine Learning initiatives developed for digital products, two sources of un…

8 years ago I started my bachelor’s degree in Geography. Now I’m a Data Scientist; this is the story of how (and why) I’ve got hereContinue reading on Towards Data Science »

A Statistical Review of the Universities Accord RecommendationsContinue reading on Towards Data Science »

Feeling inspired to write your first TDS post? We’re always open to contributions from new authors.Some months, our community appears to be drawn to a very tight cluster of topics: a new model or tool pops up, and everyone’s attention zooms in on the latest, buzziest news. Other times, readers seem to be moving in dozens of different directions, diving into a wide spectrum of workflows and themes. Last month definitely belongs to the latter camp, and as we looked at the articles that resonated the most with our audience, we were struck (and impressed!) by their diversity of perspectives and focal points.We hope you enjoy this selection of some of our most-read, -shared, and -discussed posts…

Building an advanced local LLM RAG pipeline with two-step retrieval using open-source bi-encoders and cross-encodersContinue reading on Towards Data Science »

My students and I measuring the retreat of the Cotopaxi glacier.I was born and raised in Ecuador. In this country, weather and climate shape our lives. For example, our energy supply relies on sufficient rainfall for hydroelectric power. As a child, I remember having continuous blackouts. Unfortunately, Ecuador has not been resilient. At the time of writing this article, we are experiencing blackouts again. Paradoxically, El Niño Southern Oscillation brings us flooding every year. I love hiking, and with great sadness, I saw how our glaciers have retreated.Ten years ago, I decided to study for a PhD in meteorology. Climate change and its implications troubled me. It is a daunting challenge …

A step-by-step guide to understanding window functionsPhoto by Yasmina H on UnsplashWindow functions are key to writing SQL code that is both efficient and easy to understand. Knowing how they work and when to use them will unlock new ways of solving your reporting problems.The objective of this article is to explain window functions in SQL step by step in an understandable way so that you don’t need to rely on only memorizing the syntax.Here is what we will cover:An explanation on how you should view window functionsGo over many examples in increasing difficultyLook at one specific real-case scenario to put our learnings into practiceReview what we’ve learnedOur dataset is simple, six rows…

In Spring 2024, Monte Carlo earned both #1 in the Data Observability category and #1 in the Database Monitoring category, along with 14 additional awards.

Snowflake cost optimization efforts need to be right sized. Read how to get the most savings without investing too much time and sweat.

Leverage machine learning to proactively identify data and data pipeline anomalies so you can fix bad data before it impacts your analytics, AI and other data products.

Learn how the Aircall team uses Monte Carlo's data observability solution to maintain their focus on self-serve infrastructure without compromising on data quality.

Data reliability on your radar? Get started with these 7 must-have data quality tests, including null value, numeric distribution, and freshness tests.

Understand what prompt engineering is and why it’s valuable—as well as a few other GenAI skills that should be at the top of your list.

Four data leaders from leading organizations give their practical advice on how to implement data mesh.

This 6 step data quality management framework has helped hundreds of organizations achieve higher quality data across their modern data stacks at scale.

Experts from PayNearMe, Mission Lane, and Fundbox, share their real strategies for operationalizing GenAI, and how data quality plays an important role.

Monte Carlo is rated #1, but we recognize there are alternatives. Here's how the experts evaluate data observability tools.

Spark lineage has been a blindspot for the data engineering industry so we set off to engineer a solution. Here's how we did it.

Getting data and people where they need to be at JetBlue by prioritizing data trust.

Learn why your data incident management process should happen at the data product level, how to manage incidents effectively, and who should be responsible along the way.

Getting started with data contracts? Here's how to implement data contracts in your data warehouse across your critical production tables.

In 2024, data teams are at a tipping point: jump onto the AI train or risk being left behind. But what does success look like? We brought the experts together to find out.

Airflow 2.9Буквально час назад вышла новая версия Apache Airflow — 2.9. В релизе очень много изменений и фиксов, а также новых фич:— поддержка Python 3.12— Listener API стабилизировался и его можно использовать в продакшене— Поддержка multiple executors (AIP-61 Hybrid Execution)— DatasetOrTimeSchedule, срабатывание по Timetable расписанию и Dataset событиям— @task.bash декоратор. Возвращаемое значение обёрнутой в этот декоратор функции будет выполнено в виде bash-командыПолный список изменений смотрите по ссылке.

У ребят из PostgresPro есть отличные, а главное бесплатные, книги по PostgreSQL: https://postgrespro.ru/education/books

Убийца DuckDB 🔫А вы уже видели аналог DuckDB от ребят из ClickHouse? Называется это чудо chDB. Представляет из себя встроенную OLAP базу данных под капотом которой пыхтит движок ClickHouse. Умеет в Parquet, Arrow, ORC и кучу других форматов, есть биндинги для Python, Go, Rust, NodeJS, Bun. Работает на Linux и MacOS, жаль Windows не поддерживает.Узнал я о существовании этой БД из новости о том, что chDB присоединяется к ClickHouse: https://auxten.com/chdb-is-joining-clickhouse/

Ребята, всем привет! 🤝Вас стало ещё больше и поэтому я хотел напомнить о существовании моего другого телеграм-канала с вакансиями в области DataEng, DataOps и DBA: https://t.me/dataeng_jobsВ этот канал автоматически попадают вакансии по вышеупомянутым категориям, классификация происходит через OpenAI API.Подписывайтесь, скоро источников с вакансиями станет ещё больше, и возможно именно вы найдёте лучшее для себя предложение — @dataeng_jobs

Курс про Apache Airflow бесплатноРешил выложить свой курс про Apache Airflow абсолютно бесплатно для всех: Apache Airflow 2.2: практический курсЗа то время что существует курс, Apache Airflow успел обрасти множеством новых фич, которые только предстоит покрыть в будущем, возможно в виде отдельных роликов на Ютуб или в виде статей у себя в блоге.В любом случае курс не потерял своей актуальности и может послужить неплохим введением для новичков и более опытных пользователей. Например, в курсе я подробно разбираю как развернуть у себя на сервере production-ready Airflow, а также настроить автодеплой дагов через GitHub Actions.Велком!

Всем привет!Я сделал курс по Luigi бесплатным для всех, велком изучать — Введение в Data Engineering: дата-пайплайныLuigi это компактный инструмент для построения зависимых между собой задач на базе нескольких сущностей: Task, Target. Он идеально подойдёт там, где Airflow кажется избыточным инструментом. В далёком 2017 году я писал небольшой обзорный пост на Luigi у себя в блоге: Строим Data Pipeline на Python и Luigi. С тех пор мало что изменилось в концепции инструмента, он по прежнему компактный и простой, именно в этом вся его прелесть.

В очередной раз наткнулся в сети на статью про эксплуатацию Apache Airflow в среде Kubernetes: What we learned after running Airflow on Kubernetes for 2 years. У автора развёрнут Airflow с 300 дагами и около 5 000 задачами. Преимущественно они запускают лёгкие таски по типу dbt-трансформаций, поэтому при использовании KubernetesExecutor столкнулись с тем, что инициализация Pod занимает больше времени чем выполнение самой задачи. Выбор в итоге пал на CeleryExecutor. В целом статья не столько про нюансы работы Airflow внутри Kubernetes-кластера сколько про опыт эксплуатации инструмента в их конкретном случае. Полезно.В нашей команде Airflow также является ключевым инструментом для выполнения …

Сейчас много шума вокруг DuckDB. Это компактная OLAP база данных на стероидах. На днях наткнулся на статью в рассылке про DuckDB и почему на неё стоит обратить внимание: What is DuckDB?Также возможно вас заинтересует сравнение polars (убийца pandas) и DuckDB: DuckDB vs Polars for Data Engineering

Привет! В рамках возобновления работы над своим старым проектом по агрегации вакансий с удалённым форматом работы, я запустил отдельный телеграм-канал, где в автоматическом режиме публикуются вакансии из категории Data Engineering и DataOps: https://t.me/dataeng_jobsПопадают они туда в процессе сбора и анализа вакансий с различных профильных сайтов типа Хабр Карьера, VC, DevBy и т.д. Классифицируются они через API сервиса OpenAI, проще говоря GPT4.Если вы в поиске работы, то моя инициатива вероятно поможет вам найти нужный оффер быстрее 🚀Подписывайтесь

Гайд о том как развернуть Apache Airflow локально через Kubernetes: https://blog.det.life/setting-up-apache-airflow-on-kubernetes-for-local-development-f873115fbe93

Экскурс в устройство современных OLAP баз данных в рамках ежегодного курса от Carnegie Mellon University — Advanced Database Systems: Modern OLAP Database Systems

Airflow Evolution at SnapНа платформе Medium появилась статья про эволюцию Apache Airflow в компании Snap: Airflow Evolution at SnapПреимущественно в статье речь идёт о работе с RBAC и масштабированием Airflow.Также помимо статьи, вы можете посмотреть на Ютубе доклад с прошедшего в 2023 году Airflow Summit: Airflow at Snap: Managing permissions, migrations and internal tools

📣One Day Offer для Data Engineer📣 10 февраля 🕤 Sportmaster Lab проводит One Day Offer для Data Engineer. One Day Offer от SM Lab — это отличная возможность пройти все этапы отбора и получить приглашение на работу всего за один день. SM Lab - аккредитованная ИТ-компания в составе группы компаний «Спортмастер». Мы находимся в поисках Middle Data Engineer, c хорошим знанием Python и SQL, с опытом работы от 2-х лет. Для нас важно наличие опыта использования экосистемы Hadoop (HDFS, Hive, Spark) и Apache AirFlow. 📍Немного про задачи:- Реализация ETL в Hadoop (с помощью Airflow). - Работа с различными источниками данных: Oracle, MS SQL, API личных кабинетов, микросервисы. - Батч и стримы с помощь…

Tim Berglund своего рода легенда в мире распределенных систем, популяризатор этой темы. Я познакомился с его творчеством через классный доклад про распределённые системы на Ютубе около 6 или 7 лет назад: Distributed Systems in One Lesson. Он какое-то время работал в компании Confluent (авторы Apache Kafka), где активно продвигал Кафку в массы. Сейчас же он работает в StarTree, cloud-решение на базе Apache Pinot. Его новый доклад как раз посвящен Apache Pinot, распределенному OLAP хранилищу.Собственно сам доклад в рамках GOTO Conference: Introduction to Real-Time Analytics with Apache PinotИ краткое и понятное видео что из себя представляет Apache Pinot от него же: What is Apache Pinot? (and…

Data Engineering for BeginnersНа ютуб-канале freeCodeCamp вышел курс Data Engineering Course for Beginners. Продолжительность курса 3 часа, в нём автор разбирает докер, базу данных PostgreSQL и работу с Airflow для написания несложного ETL-процесса. Для новичков в теме в самый раз! 🚀

Forrester Wave: Data Lakehouses, Q2 2024В отчете Forrester Wave за второй квартал 2024 года рассмотрены 13 ключевых вендоров решений для data lakehouse, их предложения и позиции на рынке. Авторы отчета с коллегами провели анализ по 24 критериям, оценивая важнейшие компании, предоставляющие услуги в области управления данными. Особое внимание уделено интегрированным решениям, использованию GenAI и производительности при масштабировании, что является критически важным для современных бизнес-задач.Традиционные хранилища данных и озера данных уже не справляются с растущими требованиями бизнеса из-за недостаточной гибкости, масштабируемости, интеграции, автоматизации и управления. Решения data l…

Уже все хорошо осведомлены про Generative AI и LLMs. Вот только не очень понятно как это относится к традиционными специальностям, таким как Data Engineer, Analytics Engineer, BI Engineer, Data Analyst (думаю так-же относится и к Data Scientist, ML engineer в большей степени даже). Для меня всегда самый лучший источник “правильных” знаний - best practices и use cases - являются курсы вендоров, и конечно, далеко ходить не надо, нужно выбрать самых топовых вендоров Snowflake и Databricks и простой найти время на ознакомление с их курсами, множество из которых, могут быть бесплатными. Тут важно понимать, что нужны фундаментальные знания и опыт в вашей специализации, тогда вам будет проще понят…

Вышел новый подкаст с хэдом е-ком сервисов Яндекса и СЕО Яндекс Маркета Романом Маресовым. Success story - от консультанта в McKinsey до руководителя в корпорации. Можно узнать про принципы управления командой, must have для управленцев любых уровней.А еще у Ромы есть свой ТГ-канал, где он делится внутренней кухней Яндекса, собственными инсайтами, трендами е-ком отрасли, карьерными советами и да, тему управления тоже периодически поднимает.Канал тут.

Я давно подписан на бывшего VP Amazon Ethan Evans, кто пишет про карьеру и продает консультации. Хороший пример FIRE, чувак свалил из Amazon и теперь зарабатывает на контенте. У него огромный опыт и он открыто говорит про + и - корпораций. Если кратко, + то нет, если только хорошая зарплата, как недавно Netflix повесил вакансию на 300-720k $ за L5 Analytics Engineer.Мне понравилось его последняя заметка - I "lied" to my teams about work expectations. Итан как продвинутый менеджер называет вещи своими именами:Companies boil people slowly.Thus, while I truthfully did not care how long a project took, I did have to care if I was getting all I could from an individual.That is part of a normal m…

Недавно я познакомился с командой канала Выше Вилки. И мы решили записать вебинар и подискутировать про зарплаты в ИТ и про стратегии их увеличения, заодно сравнили рынок Нидерландов и Северной Америки. Мне понравился результат. Поговорили по делу, про работу, лояльность работодателя, FIRE, job security. Сошлись на мнении, что ходить на собеседование нужно, не когда “жопа горит”, а когда все хорошо. Паша рассказал классные life hacks про рост внутри компании. Я относился всегда очень скептически к росту внутри компании, но это реально рабочий метод, и судя по их каналу Выше Вилки, они прям фокусируются на этих кейсах. У них даже есть курс по этой тематике (не реклама), в котором они рассказ…

Как построить DWH и интегрировать CI/CD в работу с данными? Узнайте на VK Data Meetup⏰23 мая, 15:00-19:00 по МСК📍Офис VK и онлайн⚡️Бесплатная регистрация: https://bit.ly/3Uk6jQm?erid=2Vtzqx8GCc8VK Data Meetup — серия событий для дата-инженеров, разработчиков, администраторов о практиках работы с данными на разных уровнях. Майский митап посвящен актуальным архитектурным паттернам платформ данных и технологиям, которые позволят их реализовать.Речь пойдет о DWH, Data Lake, Data LakeHouse и Data Mesh — где они применяются и с какими подводными камнями можно встретиться на практике. Узнаете, как Kubernetes незаметно, но уверенно захватывает индустрию, почему в коммьюнити все чаще говорят про Tri…

А вот сюда, давайте по SQL.

Все привет! В комментарии к этому посту кидайте все ресурсы про подготовку к собеседованию, шаблоны резюме, и тп. (Есть есть на английском, вообще замечательно). Я тоже скину свои заготовочки:)

А вот что получилось, пришли ребята из телеграм канала, рассказали про свою жизнь в NY, Из митапа на eventtribute пришло только двое (из 16 зарегистрированных), один из пришедших был вообще турист из Аргентины.Как рассказал выше в видео, это очень кайфово так приезжать в другой город и встречаться с людьми со схожими интересами и сферами, проговорили 3 часа обо всем, включая собесы, тулы, зарплаты и многое другое!Следующая встреча будет в Сиэтле 18 мая, пишите кто из Сиэтла в комментах!PS NY 🔥🔥🔥, точно центр мира, но если с 💰💰💰

Привет из New York!

Решили попробовать Linkedin Live Events первый раз. Роман Зыков проведет вебинар про свой проект на DuckDB, dbt, Pefect. Modern Data Stack в деле! https://www.linkedin.com/events/realusecaseformoderndatastackwi7185697388240502785/theater/

Самая важная информация для разработчика! Обязательно like поставьте, Surfalytics Shorts как ни как!

Как я получаю информацию, чтобы быть в теме IT и не толькоНедавно ко мне прилетел примерно такой вопрос от моего коллеги, Вовы Коноплева, CTO нашего банка для юрлиц, который ведет свой канал @konoplevthoughtsМне вопрос понравился и я решил ответ на него превратить в отдельный пост, где я расскажу про свои источники информации1) КнигиЯ отслеживаю важные книги по интересным мне темам. Для этого я ориентируюсь на новинки на платформе- Сайт онлайн-платформы O’Reilly, где есть книги разных издательств, а также видео и курсы- Сайт издательства Питер, где интересно отслеживать новинки, а потом читать их неисковерканные в английском варианте- Сайт издательства ДМК Пресс, где интересно отслеживать н…

Интернет против ИИ-контентаВ конце марта YouTube оповестил, что теперь авторы видео должны будут отмечать ИИ-контент.Под это правило попадают ролики, которые могут ввести в заблуждение ­— то есть в них есть реалистичные сгенерированные изображения реальных людей, мест и событий. Откровенно фантастические вещи, ИИ-фильтры и спецэффекты отмечать не надо будет.💬 Если вы сгенерировали видео, где Билли Айлиш поджигает Белый дом, то его надо будет тегнуть как AI-generated. Если то же самое будет делать Геральт из Ривии, без тега можно обойтись.Это не первая платформа, которая начала отмечать ИИ-контент. Еще раньше это сделал TikTok, а Meta (та самая, которая признана экстремистской и запрещена в …

HEART: от Google с любовьюНедавно рассказали про AARRR — маркетинговый фреймворк для стартапов. Сегодня поговорим про систему метрик, которую могут применять продуктовые отделы для оценки пользовательского опыта. С ее помощью можно оценить, насколько успешен продукт (приложение, сайт, сервис) в целом либо его отдельные фичи.Фреймворк разработали в Google и назвали HEART ❤️ У них даже есть целая публикация про него. Как и в прошлый раз, название — это акроним. За каждой буквой скрывается то, что мы будем измерять.🔜 H — Happiness, счастье: насколько пользователи довольны продуктом.🔜 E — Engagement, вовлеченность: как часто и как долго используют продукт.🔜 A — Adoption, принятие: насколько акт…

Периодическая таблица датавизаЛучший способ рассказывать про датавиз ­— это с помощью датавиза!В периодической таблице методов визуализации собрали все возможные способы представить информацию на схемах, графиках и картинках — от обычных пай-чартов до комиксов.💬 Цвет ячейки показывает на предназначение метода.💬 Цвет названия — на то, что визуализируется: процессы или взаимоотношения внутри структуры.💬 Дополнительные значки говорят об особенностях метода: например, помогает ли он увидеть ситуацию в целом или оценить детали.Таблица даже немного интерактивная — можно навести мышь на ячейку, и выскочит окошко с картинкой-примером. Она довольно старая — аж из 2007 года — но актуальность не потер…

Чем на самом деле занимаются аналитики?Начинать карьеру в новой сфере всегда сложно. IT-курсы чаще всего помогают подтянуть харды — например, знание Python или SQL — но мало рассказывают о том, как устроена профессия изнутри.🔵 Как строится взаимодействие с коллегами из других отделов?🔵 Как выглядят реальные повседневные обязанности и задачи?🔵 Стоит ли вообще лезть в эту новую сферу, и будет ли работа в ней на практике такой же интересной, как кажется со стороны?🔜 Курс «Марафон данных» мы написали, чтобы помочь всем, кто задумывается о карьере в аналитике, найти ответы на эти вопросы. Он бесплатный и довольно короткий — на прохождение понадобится около 10-15 часов.🔜 Его задача — познакомить …

Только новости, и ничего лишнегоМы тут рассказываем про технологии и данные, и что-то новое в этой сфере появляется каждый день. В потоке новостей легко потеряться, поэтому ребята из канала SM only news каждый день отбирают только самое важное. Например, вот новости последней недели, которые вы могли пропустить:🔵 В Tinder появилась функция «Поделиться свиданием»🔵 Neiry представила наушники для улучшения настроения совместно с НМИЦ ПН им. В. М. Бехтерева🔵 Nothing представила наушники с поддержкой ChatGPT🔜 Канал строго про новости — публикуют оперативно, пишут без воды про все важное, обсуждаемое и актуальное из мира бизнеса, технологий и массовой культуры.

Ищем дата-инженера в Valiotti Analytics!Наша команда продолжает расширяться — в ней вновь появилось место для дата-инженера уровня Middle.Мы (если вы вдруг забыли) — дата-агентство Valiotti Analytics. Работаем с 2019 года и делаем крутую аналитику digital-компаниям из США, Европы и России.От нас:🔵Фуллтайм на удаленке,🔵Достойная зарплата, которую обсуждаем индивидуально с каждым кандидатом,🔵Корпоративный английский,🔵Классная команда и крутые задачи.От вас:🔵Опыт работы дата-инженером от 1 года,🔵Знание ClickHouse, SQL, Python, Apache Airflow 2 и bash.👀 Больше про обязанности и наши ожидания от кандидата читайте на странице вакансии. А если вам уже все ясно и вы готовы откликнуться, присылайте …

Угадайте код RGB: тест для дизайнеров и не толькоМы тут, конечно, собрались, чтобы говорить про данные, аналитику, IT и прочие штуки на острие прогресса, но давайте честно: иногда хочется просто потыкать в кнопочки.Специально для этих целей принесли вам игру Guess My RGB. Суть проста: фон страницы окрашивается в рандомный цвет, код которого надо угадать, крутя ползунки, отвечающие за красный, зеленый и голубой цвета.Количество попыток не ограничено, так что тыкать в кнопочки можно бесконечно. Самое то, когда нужно немного разгрузить мозг.Делитесь успехами в комментариях — получается угадывать? 👀

Цвет в визуализации данныхДатавиз — область работы с данными, где заботиться надо не только о точности, но и эстетике. Чтобы графики выполняли свою функцию, они должны быть понятными, легко читаемыми и приятными глазу. Из-за этого, если нет опыта в дизайне, иногда может быть неясно, с какой стороны подходить к визуализации. К счастью, есть общие принципы, которые помогут разобраться, как надо и не надо делать, даже если у вас нет особых художественных способностей.О них рассказывает книга «Основы визуализации данных». На vc.ru выложили отрывок из нее про цвет и частые ошибки при работе с ним.🔜 Ошибка: слишком много цветов, каждый элемент раскрашен по-разному. Например, на графике много точе…

Все дороги ведут к базам данныхЕсть теория, что эволюция рано или поздно всех живых существ превращает в крабов. На самом деле только членистоногих, но это уже не так смешно звучит.А вот Тайлер Клотье, основатель Clockwork Labs, написал про то, что если вы придерживаетесь дата-ориентированного подхода в программировании, все, что вы делаете, рано или поздно превратится в базу данных. Этакий краб от мира данных, идеальная форма, к которой стремится эволюция.Компания Тайлера разработала SpacetimeDB и даже сделала на ее основе игру, так что можно предположить, что он в этом вопросе несколько пристрастен. Но его опыт позволил предложить интересный взгляд на данные.Для интересующихся добавили сс…

Курс по Product-Led Growth — бесплатно на 24 часаУ меня вся семья довольно технологичная. У меня дата-агентство, мой родной брат Костя — продакт-директор, который работал в VK и PandaDoc, а мой двоюродный брат Костя — генеральный директор одной известной российской BI-компании. Ничего себе? 😨Сейчас первый Костя живет в Лондоне. Я недавно был у него в гостях, и он рассказал мне, что опубликовал на Udemy свой курс по Product-Led Growth.Это подход, когда продукт сам привлекает, монетизирует и удерживает пользователей. Во многом благодаря ему SaaS-компании в секторе B2B последние годы так стремительно росли в оценке. Ему следуют и во многом обязаны своим успехом Slack, Figma, Canva и Dropbox.🔜 …

AARRR: пиратский фреймворк для маркетологовНачинаем серию постов про работу с данными в маркетинге! Первый — про фреймворк AARRR. Это метод построения системы метрик, который помогает разобраться, какие показатели и зачем нужно отслеживать.AARRR — это не пиратский вопль (хотя похоже), а аббревиатура, где каждая буква — этап жизненного цикла клиента.🔜 Аcquisition — привлечение. Клиент узнал о вас: нагуглил, ткнул на объявление, услышал рекламную интеграцию у блогера.На что смотреть? Показы объявлений, клики и их стоимость. Эффективность разных платформ (кто привел больше людей — VK или Tg?) и объявлений (какой баннер сработал лучше — с котиком или без?).🔜 Аctivation — активация. Клиент зарег…

Помогите стартапу найти доверие к даннымПредставьте: французский эдтех-стартап. Данных, которые надо анализировать, немало: соцсети, рекламные кабинеты, платежи, активность студентов. Все это собирается, складывается в базу и выводится на красивые дашборды на Tableau.🔜 Пока все стандартно, но вот первый сюжетный твист: раз в месяц стартап обращается к сторонней компании, которая берет все их данные и пересчитывает в табличке в Excel. Потому что дашборды — это, конечно, классно, но что они там рисуют — непонятно, а в табличке все четко и понятно.Представили? А нам и представлять не надо. Это один из наших клиентов, у которого сложилась довольно интересная ситуация с данными — MentorShow.🔜 Вт…

Как Apple следит за пользователямиApple часто подчеркивает, как много внимания уделяет безопасности и защите личных данных пользователей. Рекламные ролики на эту тему у них получаются отличные, например, вот такой и такой.Главной угрозой «прайваси» считаются сторонние приложения, которые собирают и непонятно куда сливают информацию. Команда исследователей из финского университета Aalto решила проверить, а как дела с родным ПО Apple, установленным почти на всех девайсах?В исследовании «участвовали» 8 дефолтных приложений: Safari, Siri, Family Sharing, iMessage, FaceTime, Location Services, Find My и Touch ID.💬 Оказалось, что все они, само собой, собирают данные. Запретить им это делать можно…

У нас есть GPT дома…и она написана на SQL.Да, именно так — разработчик Алексей Боленок написал генеративную нейросеть на SQL.Наверное, на этом пост можно закончить и просто дать ссылку на оригинал статьи в блоге Алексея и на перевод на Хабре.Но все-таки расскажем немного, что вас ждет.LLM способны генерировать логичные тексты на естественном языке за счет того, что предсказывают, в каком порядке слова должны идти друг за другом. Алексей показал, что происходит «под капотом» LLM, когда она это делает.Если совсем кратко:🔵Модель получает промпт и преобразует его список токенов.🔵Затем она возвращает массив кортежей — строк и чисел. В строках — токены (слова или их части), в числах — вероятность…

SQL-полиглотСделал онлайн-утилиту, которая выполняет заданный запрос на любой СУБД от PostgreSQL до DuckDB (SQLite тоже есть, конечно).Удобно, чтобы быстро понять, поддерживает ли база тот или иной SQL-синтаксис.https://codapi.org/sql

Побег из карантина macOS и точный путь к расширениюСвежий релиз sqlpkg принес две приятные фичи:— Команда install автоматически убирает расширение из карантина macOS, чтобы можно было использовать без дополнительных приседаний.— Команда which печатает точный путь к установленному расширению, чтобы было проще загрузить его в SQLite.https://github.com/nalgeon/sqlpkg-cli/releases/0.2.0

Перенести SQLite-расширения с одной машины на другуюНачиная с релиза 0.1.0, sqlpkg сохраняет информацию об установленных пакетах в специальном файле (sqlpkg.lock, он же локфайл). Используйте его, чтобы установить расширения на новой машине одной командой:sqlpkg installhttps://github.com/nalgeon/sqlpkg-cli/releases/0.1.0

🤖 Как строятся прогнозы в Machine Learning? Начните с открытого практического урока от OTUS. Спикер Игорь Стурейко — PhD Physical and Mathematical Sciences, опытный руководитель команд. 💻 На вебинаре разберем: - как подходить к моделированию временных рядов; - как разбить их на тренировочную и тестовую части и проводить кросс-валидацию; - как разложить временной ряд на основные компоненты и построить авторегрессионную модель ARIMA/SARIMA; - метрики качества, специфичные для моделей временных рядов. 👉 Встречаемся 7 мая в 20:00 мск в преддверии старта курса «Machine Learning. Professional». 💣 Пройдите короткий тест прямо сейчас, чтобы посетить бесплатный урок: https://clck.ru/3APQ5SРеклама. О…

Как прокачать навыки A/B-тестирования? Если уже владеете инструментами, то только через опыт и нестандартные задачи. В процессе работы скилл вырастет, но есть вероятность наделать ошибок. Ещё одна опция — пройти «Симулятор A/B-тестов» от karpov.courses под руководством экспертов сферы. На нём вы будете решать как типовые, так и нестандартные задачи, чтобы набить руку и увереннее действовать в работе. По итогам курса вы: — Освоите полный пайплайн A/B-тестирования;— Научитесь разрабатывать оптимальный дизайн онлайн и офлайн экспериментов;— Разберётесь, как проверять гипотезы со сложными метриками, для которых стандартные тесты не работают;— Сможете применить современные методы повышения чувст…

Где взять опыт?За время работы в эдтехе, я пообщался с многими нанимающими менеджерами (лидами, хэдами, CDO) и часто слышу про то, что ищут аналитиков, обладающих определенным складом ума, который ориентирован не только на решение чисто технических задач, но и направленный на понимание бизнеса как сложной динамически-неупорядоченной системы, производящей бизнес-решения, которые в свою очередь генерируют прибыль.Многие задумываются о переходе в аналитику, но не знают с чего начать. Обучение на курсах – отличный способ прокачать свои скиллы. Но также важно получить реальный опыт работы над бизнес-задачами. Именно реальный опыт позволяет приобрести навыки понимания сложного контекста организац…

От создателей Академии Аналитиков Авито — открытый курс по прикладной статистике. Бесплатно, без регистрации и смс. Для тех, кто хочет научиться: – применять критерии Манна-Уитни, t-test, бутстрап, хи-квадрат;– использовать специализированные библиотеки Python;– разрешать спорные ситуации при анализе данных.– экспериментировать, выводить критерии, доказывать формулы. Уроки построены на примере реальных данных и показывают, как решаются задачи бизнеса с применением прикладной статистики. Рекомендуем.

🌐 Как с помощью искусственного интеллекта автоматизировать и упростить поиск работы в ИТ уже сегодня?Продолжаем серию полезных вебинаров для поиска работы в ИТ. В этот раз мы проведем мастер-класс, на котором покажем все самые полезные возможности использования ChatGPT при поиске работы.🔎 Наш сегодняшний эксперт, Мария Мамкина, Senior Product Manager с 9-летним международным опытом в IT. Автор Telegram канала (Mamkina_Tech) про продуктовый менеджмент и подготовку к собеседованиям в IT. На мастер классе вы узнаете как писать качественные промты в ChatGPT, которые помогут вам:🔵преобразовать обязанности из вашего резюме в достижения🔵адаптировать резюме под конкретную вакансию 🔵быстро и правиль…

Хотите использовать машинное обучение в бизнес-целях?На бесплатной конференции «OTUS CONF: Machine Learning» мы поговорим о трёх важных элементах машинного обучения. Обсудим генеративные модели нейросетей, модели обработки естественного языка и обработку временных рядов.На конференции выступят дата-сайентисты из крупных компаний: кандидаты технических, физико-математических и экономических наук.Вы узнаете:▫️Как современные генеративные модели применяют в бизнесе, и что «под капотом» нейросетей типа GPT▫️С какими ошибками вы можете столкнуться при обработке временных рядов и какие решения применять▫️Как бизнесу применять NLP-модели семейства BERT▫️Как собирать данные, чтобы дообучить NLP-мод…

😎 Публичный Гайд по повышению BI Adoption перевел в более читабельный PDF формат ☝️Размышлял над темой год и пора упаковать и переключится. Еще родился шаблон для воркшопа, чтоб самим провести анализ в команде. Кому эта тема интересна пишите и приходите на курс по BI стратегии в мае.Там это все обсудится и пошарится

📊 Хотите углубиться в Machine Learning или Data Science? Начните с изучения базовых методов парсинга и работы с html! Приходите на бесплатный практический урок от OTUS. Спикер Мария Тихонова — PhD Computer Science, Senior Data Scientist в SberDevices и преподаватель ВШЭ. 💻 На вебинаре вы: — освоите основные принципы работы c html в Python; — изучите основные инструменты парсинга; — научитесь скачивать различные типы данных с сайтов на сайты. 👉 Встречаемся 22 апреля в 18:00 мск в рамках курса «Machine Learning. Professional». Все участники вебинара получат специальную цену на обучение и консультацию от менеджеров OTUS! 🟢 Пройдите короткий тест прямо сейчас, чтобы посетить бесплатный урок: ht…

Запись стрима «Как проходит собеседование на продуктового аналитика в Авито?»Вместе с Вовой Камчаткиным, продуктовым аналитиком в компании inDrive, увидите, какие вызовы и задачи ждут вас и как к ним лучше подготовитьсяСамое интересное:Рассказ про опыт и вопросы: SQL, Python, ML, продуктовые кейсыПример задачи со сложными аналитическими подходами Техническая задача про кубик (теорвер)Продуктовый кейс на примере TelegramФидбек Вове по итогам собеседования по матрице компетенций аналитиков Авито

18 апреля в 18:00 мск приглашаем на День открытых дверей онлайн-магистратур по аналитике данных.Представители Практикума, РАНХиГС и ТГУ расскажут о трёх программах, на которые открыт набор в 2024:Дата-аналитика для бизнеса Финансовый анализ в бизнесеData Science в экономике (трек 1 или 2 года)Вы узнаете, что нужно для поступления, как проходит учёба и какие льготы получают студенты онлайн-программ. Участие бесплатное, но нужно зарегистрироваться.Реклама. ООО «Яндекс». ИНН 7736207543

🔥 Бесплатный интенсив по Python для начинающих аналитиков!Завтра в 19:00 по Мск пройдет бесплатный интенсив по теме: “RFM-анализ клиентской базы с помощью Pandas в Python”.Мы проводили такой интенсив в январе, но многие не успели на него записаться, а очень хотели — поэтому мы решили, почему бы не провести его еще раз 😍А еще он очень понравился участникам, и мы собрали много положительного фидбека 💫Что будем делать на интенсиве:✅ Проанализируем реальную клиентскую базу аптечной сети✅ Проведем EDA с помощью Pandas✅ Напишем скрипт для проведения RFM-анализа✅ Изучим несколько классных фишек Pandas✅ Сформулируем конкретные бизнес-выводы и предложения на основании проведенного анализаМы также ра…

Появились записи с A/B platform meetup от команды СберМаркета🟡Система автоматического расчёта А/В тестов. Рамиль Чермантеев, руководитель команды аналитиков-инженеров платформы экспериментов СберМаркета, рассказал, что автоматический расчет из себя представляет и с какими трудностями ребята столкнулись при его развитии.‌🔴Как привести эффекты от A/B-экспериментов к масштабу всей компании? Артем Дронов, аналитик АВ-платформы, Авито, поделился методологией приведения и оценки результатов экспериментов к масштабу всей компании.‌🔵Система офлайн-экспериментов. Полина Ревина, и.о. руководителя A/B-платформы в СберМаркете, рассказала о свитчбэк-тестах и тестах в магазинах, сплитование для которых д…

Как системному аналитику DWH попасть в Тинькофф? О чем спросят на собеседовании? Какие задачи предложат решать? Все ответы — на Tinkoff DWH Connect. В апреле пройдут три онлайн-мероприятия для системных аналитиков DWH. Уровень мидл и выше.Вот что будет: — Weekend Offer, 20 и 21 апреля. Можете попасть в команду Тинькофф за пару дней. Пройдете все этапы собеседования за выходные — и, если все понравится, оффер ваш. Посетите все три ивента или сразу приходите на собеседование. Зарегистрируйтесь до 17 апреля. Детали тут erid:2VtzquZhf7uРеклама. АО "Тинькофф Банк", ИНН 7710140679, лицензия ЦБ РФ № 2673

Читаю я тут пост "Build Lines, Not Dots". Ключевая мысль там о том, что доверие инвесторов по отношению к стартапу сильно зависит от восприятия инвесторами последовательного роста и ощущения динамики, сдобренной грамотным принятием решенийТо есть по сути надо создать картинку, что мы а) растим метрики б) этот рост обсуловлен нашим целеполаганием и действиямиА значит стартапер должен на любой стадии отношений уметь создавать сторилайн, который отображает ключевые точки роста компании, связывая их в линии. И вот это «связывание в линии» — важное качество не только для фаундеров, но и для аналитиков👨‍🏫 Можно заменить «инвестора» на «стейкхолдера». То есть любую персону, которой вы презентуете …

🔥 Word embedding: что это и как применяется в NLP 👉 Расскажет Мария Тихонова – PhD Computer Science, Senior Data Scientist в SberDevices и преподаватель ВШЭ. Встречаемся на бесплатном практическом уроке от OTUS, где вы: — узнаете, что такое векторные представления слов; — изучите алгоритм word2vec; — научитесь применять его на практике. Встречаемся 17 апреля в 18:00 мск в рамках курса «Natural Language Processing (NLP)». Доступна рассрочка на обучение! 💣 Пройдите короткий тест прямо сейчас, чтобы посетить бесплатный урок и получить запись: https://clck.ru/3A69M7Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru

Коллеги делятся прекрасным из IL рынка бихдаты!@ohmydataengineer

https://medium.com/intuit-engineering/how-intuit-data-analysts-write-sql-2x-faster-with-internal-genai-tool-c3b9d482208aВ продолжении прошлого пятничного мема, количество платформ и сервисов, которые за денюжку, подключиться к DWH и делать там запросики - увеличилось в 10 раз. И стоит это много, а вот поднять простенький https://huggingface.co/tsdocode/text-to-sql и натравить на мету - не, спасибо.В статье, кстати, описан второй подход и оч даже хорошие результаты.@ohmydataengineer

Тема недели в #it_memes

Очень долго смеялся и плакал 😳(ибо это все до боли знакомо)

https://www.astronomer.io/state-of-airflow/Астрономер выкатил репорт про текущее состояние Airflow. Если кратко - все хорошо у него, по скорость развития и контрибьюшенов опережает Spark и Kafka.Ссылку сначала увидел у @dataexplorers, а потом у себя в почте.@ohmydataengineer

https://clickhouse.com/blog/building-a-logging-platform-with-clickhouse-and-saving-millions-over-datadogЗанимательное чтиво про Кликхаус и как он используется для логов. Мяготка, с деталями и схемами.Не без налета саморекламы, конечно 😂@ohmydataengineer

https://mattturck.com/landscape/mad2024.pdfСтабильный гость этого канала - MAD 2024 - Machine Learning, AI & Data Landscape. @ohmydataengineer

https://boehs.org/node/everything-i-know-about-the-xz-backdoorВсю прошлую неделю (и скорее всего, текущую тоже), Tech часть интернета будет бухтеть про XZ уязвимость, или, как ее прозвали "Бекдор для всего интернета". 2 года подготовки и ребятам почти удалось, но один из специалистов заметил проблемки с перформансом ssh (работал на 500 ms дольше), пошел разбираться и наткнулся на очень много интересного.@ohmydataengineer

Пятничный юмор или как совет директоров попросил AI внедрить 😂 (true story)@ohmydataengineer

https://www.youtube.com/watch?v=QSui0KQ2rE4Пока гуглил по платформы для A/B тестов, наткнулся на вот такой хороший доклад от ребят из Flo про их Data Platform.Оказалось оч полезно и ознакомительно@ohmydataengineer

Нас скоро всех заменят 😄https://twitter.com/raunakdoesdev/status/1769066769786757375Если вы не поняли из скриншотов, Steven дал доступ к своему аккаунту софтинке по имени Devin (отсюда игра слов Steven + Devin -> Deven) и та успешна пофиксила баг, при этом после прочтения документации задала дополнительный вопрос поддержке =) Про Devin интернет трещит уже неделю - https://www.cognition-labs.com/introducing-devin@ohmydataengineer(p.s. напомнило последний сезон The Silicon Valley и бота Гилфойла)(p.s. 2: советую посмотреть вот это видео если вы вдруг начали переживать https://www.youtube.com/watch?v=80MPXoRHvK8 по этому поводу)

https://www.figma.com/blog/how-figmas-databases-team-lived-to-tell-the-scaleОчень удивительная история из технического блога Figma о том, как они скалировали свои базы данных. Поправочка: до 2020 у них был один инстанс Postgres вообще! 😳 Шардинг, партишенинг, вот это вся мяготка тут.@ohmydataengineer

💰Результаты опроса про зарплатуЗакончили с Арсеном обработку данных и дашборд по результатам опроса аналитиков. Мне нравится что получилось. Опрос прошли 323 человека, этого достаточно, чтобы накопать интересных фактов и оценить разницу доходов между разными уровнями должностей и направлениями.Вот, что я заметил:— 66% процентов опрошенных довольны или скорее довольны своей зарплатой, но при этом все опрошенные хотели бы получать примерно на 50 тысяч больше в независимости от своей удовлетворенности. — Для аналитиков данных каждый следующий уровень (Junior → Middle → Senior → Team lead) приносит по 100К дополнительного чистого дохода начиная с зп в 106К для Junior специалиста.— С количеством…

https://github.com/datacontract/cliКогда-то мы накидали какой-то свой темплейт дата контракта, и начали его встраивать в Data Hub + Great Expectations, написали немножко своей обвязки.А вот тут ребята продолжают развивать свой стандарт и к нему уже накрутили cli, которая может и контракт проверить как линтер, и даже в базы сходить и провалидировать что контракт соблюдается.@ohmydataengineer

А теперь точно пятничный юмор 😂Этот проект с Аэропортом будет мне в страшных снах приходить...(да-да, боль последних недель она такая)@ohmydataengineer

Data Apps Design pinned «Блог переехал 🌐 @data_apps»

Блог переехал 🌐 @data_apps

Channel name was changed to «Data Apps Design»

Channel name was changed to «data_apps»

✅ Как выбрать СУБД для аналитики? Мой список критериев для выбора Analytics Database🔵Performance and Scalability— Работа в периоды пиковых нагрузок (одновременные запросы от EL + dbt + BI + analysts)— Поддержка масштабируемости и scaling— Насколько адекватно время ответа на запросы (от простых select * from table limit 10 до сложных дашбордов)🔵Feature support— Поддержка semi-structured data (nested JSONs, MongoDB, event tracking)— Geospatial: GEO-joins (ST_Intersects), H3 library for geo-indexing— Адекватная поддержка Window functions (+ Qualify)— Простое создание окружений (Zero copy clone - DEV, TEST sandboxes)— Time travel, restore deleted data (UNDROP)🔵Security— PRIVILEGES management (r…

Как выбрать СУБД для аналитики?Привет! Предположим, что у вас есть:🟢 Целостное понимание потребностей бизнесаВключая требования к производительности, времени отклика, безопасности данных, перечень ключевых метрик (показателей) и формулы их расчета, и т.д.🟢 Возможность предлагать и оценивать альтернативные СУБД для решения задач бизнесаОбъективно, в заданных условиях, некоторые СУБД способны справляться значительно лучше других. Иначе говоря, имеют конкурентные преимущества.К сожалению, во многих случаях решение о том, какую СУБД использовать уже принято и не подлежит пересмотру: кем-то когда-то давно до вас по принципу "я работал с этим 5 лет назад", "у нас с ними партнерские отношения", "в…

👑 Особенности работы с External Data (на примере обменных курсов валют)⬜️Бизнес-задача:— Операции с контрагентами совершаются в около 15 разных валют— Есть необходимость пересчета финансовых показателей в разные валюты для отчетности— Обменные курсы актуальны на каждую отдельную дату (курс меняется)⬜️ Реализация:— Используется поставщик данных и его API (для примера это Open Exchange Rates)— Ежедневно несколько раз в течение дня (раз в 3 часа) делаются запросы на получение обменных курсов к каждой из 15 валют (Airflow)— Ответы в виде JSON сохраняются AS IS в S3 / Object storage— Эти файлы читаются на стороне DWH и формируется витрина обменных курсов (пар) в разрезе базовой валюты и даты⬜️ К…

Business Intelligence 101: Всё самое важное о BI инструментах🔸 Ключевые идеи BI— BI - это набор методов и инструментов для бизнес-анализа— BI упрощает доступ к данным в DWH— BI бесполезен без DWH (без данных бесполезны визуализации)— SQL по-прежнему актуален🔸 Основные возможности (features) BI— Семантическая модель: сущности, связи, формулы расчета метрик и правила агрегации— Визуальный конструктор запросов— Формирование информационных панелей (dashboards)— Публикация (sharing), рассылки, уведомления и алерты🔸 Варианты развертывания— SaaS / Managed app (Datalens)— Self-hosted (Metabase)— Hybrid (Superset / Preset)🔸 Администрирование— Production checklist (отказоустойчивость, надежность, мас…

🤯 Нерелевантные, демотивирующие и бессмысленные задачи🔻 Излишне затянувшееся общение с вендорами и провайдерами сервисовКак инженер - я должен сравнить, протестировать и выбрать самое релевантное решение в заданных условиях. Я даю заключение, какой сервис, с какими квотами и услугами необходим для решения задач.Дальнейшие шаги - переговоры, бумажные (электронные) процессы, согласования, подписания, оплаты, инвойсинг, юридические проверки и т.д. - это не относится к инженерной работе, этим должны заниматься все, кроме инженера.🔻 Взаимодействие с пользователями, которым леньКоманда аналитики делает всё, чтобы пользователям было просто и удобно находить ответы на свои вопросы:— Self-service BI…

😵‍💫 Нерелевантные, демотивирующие и бессмысленные задачиДавайте поговорим про раздражающие и отвлекающие факторы в работе.Вчера у меня возникла ситуация:Amazon Redshift ночью автоматически обновился на свежий релиз, что привело к ошибкам в расчетах (dbt), и проблемам с отчетностью (Looker). Ряд самых важных дашбордов перестал работать (пусто, либо ERROR SQL Query). Бизнес-пользователи сообщают о проблемах и ждут исправления.Я потратил около 4-5 часов на поиск и локализацию проблемы, её исправление (rollback, upgrade, чуть не дошло до restore from backup) и проверки (что-то продолжаю делать и сейчас).В это время команда из 6 человек (Finance & Accounting) пишет письма с просьбой найти и высл…

🏆 Удержать стоимость SaaS ELT на уровне $13K / year вместо повышения цены в 2,35 раза В компании для интеграции данных я использую SaaS ELT решение от вендора Hevo Data. Еще в начале 2020 году я провел сравнительный анализ и proof of concept среди основных игроков на рынке в поисках подходящего решения.В финале оказались Hevo и Fivetran. Hevo победил по ряду критериев, в том числе по стоимости (total cost of ownership).Коротко, мой сетап:— 1 Destination connector (sync каждые 15 минут)— 10 Source connectors (самые важные: MongoDB, Postgres, Event stream)— 500M events / monthНачиная с 2020 года стоимость сервиса составляла $12K в год с платежами раз в квартал. На мой взгляд, это отличная сто…

🌟 Привет, друзья!С наступающим Новым Годом!Обещаю радовать вас и развиваться. В новом году я планирую:— Делать больше обзоров Data Tools и Инструментов, сравнивать их и делать выводы— Создавать новый обучающий и полезный для каждого контент— Активизироваться на YouTube с онлайн-стримами по интересным темам и короткими кастами— Систематизировать накопленные в канале знания, добавить навигацию и хэштеги— Писать review на новые (и не очень) книги, интернет-публикации и самые интересные Data-события— Запустить email-рассылкуЖелаю всем уютно отметить в кругу близких и друзей, помечтать как следует, и полными сил вступить в новое путешествие в наступающем году! 🥳До связи,Артемий🥳🥳🥳

Всем привет, мы собрали небольшую подборку каналов/групп, которые могут быть полезны интересующимся данными в Новом 2024 году и хотим поделиться с вами:• @datacoffee — Еженедельный подкаст о данных• @datavizcomics — Комиксы по датавизу, дата-арт и интересные визуализации• @dbt_users — DBT users group• @enthusiastech — Analytics Engineering + tips & tricks• @ohmydataengineer — Авторский канал обо всем, что происходит в мире работы с данными• @ruairflow — Русскоязычное сообщество Apache AirflowДобавить как папку в Telegram https://t.me/addlist/B5NbcluX5AJiMTFi

👀 Где взять динамический датасет для целей тестирования?Большая часть датасетов и sample databases являются статичными, т.е. представляют из себя снимок. Эти данные не меняются со временем.Мы привыкли изучать такие данные, проводить Exploratory Data Analysis, строить дашборды, обучать ML-модели. Удобно пользоваться Sample Tutorials от вендоров и тулов. Awesome Public Datasets, Kaggle, Metabase Sample Database, и даже AdventureWorks - это всё примеры статики.Но ряд задач можно изучать и решать только на динамическом датасете, т.е. тех данных, с которыми происходят мутации в режиме реального времени - INSERT, UPDATE, DELETE:— Online data replication (Change Data Capture)— Streaming tasks: Ana…

☄ Первый стрим для закрытой группы Designing Modern Data AppsУже сегодня 21 декабря в 19:00 — Marketing Analytics❗️ У меня осталось всего несколько местКак это будет выглядеть?— 10 стримов, 2 из них интерактивные Q&A— Живое общение и доступ к ответам на свои вопросы— Единая связная история-кейс (заказчик - требования - архитектура - реализация)— Формат интенсива - сразу к делу, минимум воды, максимум практикиКакие результаты я получу?— Опыт построения аналитических приложений на реальном бизнес-кейсе— Практика с инструментами Modern Data Stack— Записи стримов, слайды, git-репозитории остаются у вас— Возможность претендовать на вакансии с ЗП 300К+Востребованные навыки и практические знания -…

📚 Practical Data Modelling pre-bookне теряю надежды вкатиться в Data Modelling и продолжаю активно следить за господином Joe Reis. ранее он объявил, что после соавторства книги Fundamentals of Data Engineering его следующей соло-книгой будет Practical Data Modelling (уже есть рисунок оглавления).в своей рассылке на substack он закидывает темы в читателей и проводит дискуссионные клубы на тему. Там же вышел черновик первой главы будущей книги — правда, за пейволом. так что делюсь с вами контентом конспектом контента аж за 600 рублейв качестве введения Джо предлагает договориться о терминах и приводит цитаты других, начиная с книги 1967 года > A data model organizes and standardizes data in a…

🏆 что мне нравится в проекте с авиа-трейсами adsb.exposedв дополнение к вчерашним картинкам и голой ссылке хочу подробнее рассказать чем именно меня привлёк проект Миловидова⌘ во-первых, как увлечённый дата-инженер я радуюсь каждому проекту, где-то как-то вовлечены данные и потом с ними происходит что-то интересное. Всегда хотел замутить что-то своё, но всё никак не нашёл подходящего повода и времени (а вот фаундер международной компании таки нашёл, хе-хе!) ⌘ во-вторых, видно инженерное мастерство как таковое: у проекта предельно простая инфраструктура. Нет тебе ни редисов с кешами, ни гео-балансеров, ни хитрого фронтенда с отдельным бэкендом — всё работает прямо в браузере.если я правильно…

примеры того что получается в итоге

🛫 визуализация полётов на Кликхаусе 🛬Алексей Миловидов собрал красивый демо-проект, чтобы показать как Кликхас могёт ворочать миллиарды записей (это в день). Получилось похоже на flightradar, только без самолётиков — только трейсы. Можно выбирать что показать, крутить карту как обычно и даже писать кастомные запросы.всё работает на чистом html поверх кликхауса в их облаке. В статье подробный рассказ что под капотом: js-функции, ddl таблиц и вьюх, sql-запросы с сайта.Статья https://clickhouse.com/blog/interactive-visualization-analytics-adsb-flight-data-with-clickhouseСайт https://adsb.exposed/Исходники https://github.com/ClickHouse/adsb.exposedИсточники данных: 1. https://www.adsb.lol/ 2. h…

и следом ютуб-фид мне выдал релевантный доклад с AWS re:Invent «как не терять данные в стриминге»Рассказывает AWS Hero из консалтинга, т.е. она насмотрелась за свою карьеру на разные aws-архитектуры.доклад понравился тем, что он практико-ориентированный: на примере одного проекта разобрали основные ошибки и как тихо не терять данные. При этом советы были простые, но действенные — на уровне вызываемых функций и их параметров. И всё это относиться не только в AWS или Kinesis, ведь терять данные можно в любом инструменте. ⌘⌘⌘ кейс начинается с того, что при простом паблише и консьюме из Kinesis Streams они заметили недостачу данных. И дальше по цепочке разбирали кейсы, которые они обнаружили (…

открываю для себя семейство продуктов Kinesis от AWS. Всё вместе оно решает дата-стриминговые задачи, но чисто по названиям не понять чем Streams отличаются от Analytics и зачем там ещё Firehose.посмотрев три обзора на ютубе, ответственно заявляю вот что я узнал:🟣 Kinesis Streams — типа топиков Кафки. Можно несколько консьюмеров на топик, есть ретеншен полиси для записей внутри — т.е. чтение на консьюмере управляется офсетом.🟣 Kinesis Firehose — по сути коннектор, можно туда паблишить евенты и оно из коробки может писать во все основные тулзы AWS. Нельзя много консьюмеров.🟣 Kinesis Analytics — под капотом это Managed Flink (почему нельзя было так назвать сразу?). Умеет в разные стрим-трансф…

🐭 постоянство в достиженияхвзять, например, шефа в ресторане. недостаточно один раз приготовить божественный рататуй, а всё остальное время подавать посредственную яичницу.должно пройти какое-то время, чтобы «слава закрепилась»; нужно, чтобы люди приходили, восхищались твоим рататуем, приходили снова и снова, а потом всем рассказывали, что лучший рататуй — только у вас.если приготовить вкусно только один раз, то такого эффекта не получится. Первый раз кому-то попадётся божественный рататуй, а на следующий — будут только яичницы. Земля не остановится, конечно, но и звезду мишлена за яичницы не дадут. вспомнил об этом, когда задумался о перфоманс наших ревью. Раньше мне казалось, что если я о…

📓 Infrastructure as a Codeбудучи начинающим дата-инженером в Эпохе довелось первый раз сетапить дата-инфру с нуля для нового проектая тогда уже чуток представлял из каких «кубиков» должна получиться система: где-то должны быть пайплайны, где-то храниться данные и в итоге желательно из всего этого сделать дашборды.с хранением всё понятно — был GCP и значит всё льём в BigQuery, там будут жить наши таблицы, аккуратно разложенные по слоям.осталось поднять Airflow, который, собственно, и будет всё раскладывать по слоям, а ещё Metabase, где будут жить все дашборды.я долго смотрел на этот космолёт приборную панель управления облачными ресурсами: столько там всяких разделов что сложно понять с чего…

🤓 испытательный срок — тю!прошло полгода в Кларне, объявили что я молодец и мой временный контракт превращается в тыкву настоящий бессрочный взрослый трудовой договор. Внутренний самозванец громко и глубоко выдохнул.понял, насколько спокойно было в России — кажется, чтобы тебя уволили надо очень сильно постараться. Особенно в нашей уютной айтишечке. хочется немного порадоваться, потому что было всякое за эти шесть месяцев: расскажу ниже. я так и не научился вести прямой репортаж, поэтому ниже краткий пересказ.⌘ на второй неделе моего пребывания местный профсоюз предупредил компанию о забастовке — они хотели подписать коллективный трудовой договор. Последний раз про забастовки я слышал из те…

первая неделя с CoPilotтут в нашей Кларне держат фокус на AI. Может где-то и перегибают в горячке, но тем не менее всем разработчикам оплатили лицензию на CoPilot и неустанно напоминают её активировать и установить плагин свой IDE.последнюю неделю дорвался наконец до питонячего кода и таки активировал-установил копайлот в свою Идею. Делюсь ощущениями по итогам первой недели с аи-помошником. Наверняка тут есть прожженные промпт-инженеры и гпт-мастера — не судите строго (а лучше приходите в комменты!)+++ мне понравилось как копайлот справляется с питоном и конфигами терраформа: предлагает дополнения исходя из контекста файла и непосредственного окружения.в одном месте писал функцию для дебага…

🎧 Father of «DataWarehouse» продолжая копать под этого Joe Ries, нашёл у него подкаст. Полистая прошлые эпизоды, нашёл там никого иного как Билла наше-всё Инмона. Оказывается Билл его менторит (вот это размах!).эпизод слушается как смесь баек из склепа и триллера: всё на одном дыхании — хотя уже заранее знаешь кто убийца, но до самого конца было непонятно как оно всё придёт к этому.первую программу Билл написал в 1965, за свою карьеру успел пописать на ассемблере, паскале и коболе. Застал программирование на перфокартах; когда несёшь стопку таких карт к «компьютеру», то главное их не рассыпать — иначе придётся вручную восстанавливать и проверять их порядок >_<сейчас мы (по крайней мере мы в…

Data Modeling is Dead! Long Live Data Modeling!https://youtu.be/OCClTPOEe5sувидел у Семёна ссылку на рассылку про моделирование данных от Joe Reis, автора Fundamentals of Data Engineering — книги, которая вроде как пробилась в топы Амазона сразу по нескольким категориям.помимо книги и рассылки, нашёл небольшой доклад от Джо на тему того же моделирования. В целом, от доклада сложилось впечатление «дед ворчит на облако», но кажется смысл сводиться, что мы стали забывать что такое модели данных и в принципе забивать на этот этап. Остаётся только поверить его обширному кругу общения — у него своё консалтинговое агентство, он много катается по миру с докладами, поэтому повидал и услышал всякое т…

Яндекс 🇷🇺 → Klarna 🇸🇪 2 года назад у меня был план к тому моменту я поработал полгода джуном в Ривьере, потом ещё годик в агентстве Epoch8. Когда пришёл в Яндекс, по прикидкам в такой большой компании можно смело проработать года 2-4, продолжая открывать…

Kafka is dead, long live Kafkahttps://www.warpstream.com/blog/kafka-is-dead-long-live-kafkaдва выходца из Datadog накидывают на Кафку. Ну, точнее не на саму Кафку, а на окружение, в котором крутятся современные инсталляции.дисклеймер: сам я Кафку не варил, шарды не перебалансировал и патриции не восстанавливал; но кажется я понимаю спектр проблем, на которые указывают авторы, и мне в целом нравится что они ставят под вопрос дефолтное решение. И было интересно для общего кругозора прочитать что там их не устраивает и как же сделать лучше (по законам жанра в конце статьи предложение).авторы пишут, что сама по себе Кафка всем хороша и с момента релиза зарекомендовала себя как дефолтный способ …

Summary

Generative AI has rapidly transformed everything in the technology sector. When Andrew Lee started work on Shortwave he was focused on making email more productive. When AI started gaining adoption he realized that he had even more potential for a transformative experience. In this episode he shares the technical challenges that he and his team have overcome in integrating AI into their product, as well as the benefits and features that it provides to their customers.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Dagster offers a new approach to building and running data platforms and data pipelines. It is an open-source, clou…

Summary

Databases come in a variety of formats for different use cases. The default association with the term "database" is relational engines, but non-relational engines are also used quite widely. In this episode Oren Eini, CEO and creator of RavenDB, explores the nuances of relational vs. non-relational engines, and the strategies for designing a non-relational database.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

This episode is brought to you by Datafold – a testing automation platform for data engineers that prevents data quality issues from entering every part of your data workflow, from migration to dbt deployment. Datafold …

Summary

Maintaining a single source of truth for your data is the biggest challenge in data engineering. Different roles and tasks in the business need their own ways to access and analyze the data in the organization. In order to enable this use case, while maintaining a single point of access, the semantic layer has evolved as a technological solution to the problem. In this episode Artyom Keydunov, creator of Cube, discusses the evolution and applications of the semantic layer as a component of your data platform, and how Cube provides speed and cost optimization for your data consumers.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data managemen…

Summary

Working with data is a complicated process, with numerous chances for something to go wrong. Identifying and accounting for those errors is a critical piece of building trust in the organization that your data is accurate and up to date. While there are numerous products available to provide that visibility, they all have different technologies and workflows that they focus on. To bring observability to dbt projects the team at Elementary embedded themselves into the workflow. In this episode Maayan Salom explores the approach that she has taken to bring observability, enhanced testing capabilities, and anomaly detection into every step of the dbt developer experience.

Announcements…

Summary

A core differentiator of Dagster in the ecosystem of data orchestration is their focus on software defined assets as a means of building declarative workflows. With their launch of Dagster+ as the redesigned commercial companion to the open source project they are investing in that capability with a suite of new features. In this episode Pete Hunt, CEO of Dagster labs, outlines these new capabilities, how they reduce the burden on data teams, and the increased collaboration that they enable across teams and business units.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Dagster offers a new approach to building and running data …

Summary

A significant portion of data workflows involve storing and processing information in database engines. Validating that the information is stored and processed correctly can be complex and time-consuming, especially when the source and destination speak different dialects of SQL. In this episode Gleb Mezhanskiy, founder and CEO of Datafold, discusses the different error conditions and solutions that you need to know about to ensure the accuracy of your data.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Dagster offers a new approach to building and running data platforms and data pipelines. It is an open-source, cloud-native o…

Summary

Data lakehouse architectures are gaining popularity due to the flexibility and cost effectiveness that they offer. The link that bridges the gap between data lake and warehouse capabilities is the catalog. The primary purpose of the catalog is to inform the query engine of what data exists and where, but the Nessie project aims to go beyond that simple utility. In this episode Alex Merced explains how the branching and merging functionality in Nessie allows you to use the same versioning semantics for your data lakehouse that you are used to from Git.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Dagster offers a new approach …

Summary

Artificial intelligence technologies promise to revolutionize business and produce new sources of value. In order to make those promises a reality there is a substantial amount of strategy and investment required. Colleen Tartow has worked across all stages of the data lifecycle, and in this episode she shares her hard-earned wisdom about how to conduct an AI program for your organization.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Dagster offers a new approach to building and running data platforms and data pipelines. It is an open-source, cloud-native orchestrator for the whole development lifecycle, with integrated linea…

Summary

Building a database engine requires a substantial amount of engineering effort and time investment. Over the decades of research and development into building these software systems there are a number of common components that are shared across implementations. When Paul Dix decided to re-write the InfluxDB engine he found the Apache Arrow ecosystem ready and waiting with useful building blocks to accelerate the process. In this episode he explains how he used the combination of Apache Arrow, Flight, Datafusion, and Parquet to lay the foundation of the newest version of his time-series database.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern d…

Summary

A data lakehouse is intended to combine the benefits of data lakes (cost effective, scalable storage and compute) and data warehouses (user friendly SQL interface). Multiple open source projects and vendors have been working together to make this vision a reality. In this episode Dain Sundstrom, CTO of Starburst, explains how the combination of the Trino query engine and the Iceberg table format offer the ease of use and execution speed of data warehouses with the infinite storage and scalability of data lakes.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Dagster offers a new approach to building and running data platforms an…

Summary

Sharing data is a simple concept, but complicated to implement well. There are numerous business rules and regulatory concerns that need to be applied. There are also numerous technical considerations to be made, particularly if the producer and consumer of the data aren't using the same platforms. In this episode Andrew Jefferson explains the complexities of building a robust system for data sharing, the techno-social considerations, and how the Bobsled platform that he is building aims to simplify the process.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Data lakes are notoriously complex. For data engineers who battle to b…

Summary

Stream processing systems have long been built with a code-first design, adding SQL as a layer on top of the existing framework. RisingWave is a database engine that was created specifically for stream processing, with S3 as the storage layer. In this episode Yingjun Wu explains how it is architected to power analytical workflows on continuous data flows, and the challenges of making it responsive and scalable.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Data lakes are notoriously complex. For data engineers who battle to build and scale high quality data workflows on the data lake, Starburst powers petabyte-scale SQL analyt…

Summary

Monitoring and auditing IT systems for security events requires the ability to quickly analyze massive volumes of unstructured log data. The majority of products that are available either require too much effort to structure the logs, or aren't fast enough for interactive use cases. Cliff Crosland co-founded Scanner to provide fast querying of high scale log data for security auditing. In this episode he shares the story of how it got started, how it works, and how you can get started with it.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Data lakes are notoriously complex. For data engineers who battle to build and scale high…

Summary

Databases and analytics architectures have gone through several generational shifts. A substantial amount of the data that is being managed in these systems is related to customers and their interactions with an organization. In this episode Tasso Argyros, CEO of ActionIQ, gives a summary of the major epochs in database technologies and how he is applying the capabilities of cloud data warehouses to the challenge of building more comprehensive experiences for end-users through a modern customer data platform (CDP).

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Data lakes are notoriously complex. For data engineers who battle t…

Our fifth season dives into large language models (LLMs), from understanding the internals to the risks of using them and everything in between. While we're at it, we'll be enjoying our morning brew.In this session, we interviewed Chengyin Eng (Senior Data Scientist, Databricks), Sam Raymond (Senior Data Scientist, Databricks), and Joseph Bradley (Lead Production Specialist - ML, Databricks) on the best practices around LLM use cases, prompt engineering, and how to adapt MLOps for LLMs (i.e., LLMOps).

30 января все сайты с доменом .ru и некоторые приложения на несколько часов перестали открываться. Пользователи стали переживать, что интернет в России отключают. На самом деле случился сбой в протоколе DNS. В этом эпизоде разбираемся, как этот протокол устроен и какая ошибка привела к падению Рунета.Эпизод про шифрование: https://pc.st/e/4Hy~u9W_OixРекомендации от гостя: 1. Книга «DNS and BIND», авторы Cricket Liu and Paul Albitz2. Блог CloudFlare, статья про DNS https://www.cloudflare.com/en-gb/learning/dns/what-is-dns/3. Курсы компании ICANN https://www.icann.org/en/beginnersСлушать «Запуск++» и другие бонусы по подписке ЛибоЛибо+ в закрытом телеграм-канале Либо/Либо https://cutt.ly/zap0…

Как скачать из интернета фильм, музыку или программу, минуя единый сервер? Что сделало пиратов народными героями и почему невежливо уходить с раздачи? Этот выпуск — о протоколе BitTorrent. О том, как он озолотил своего создателя, снова разозлил Голливуд и стал окном в мир массовой культуры для миллионов людей. Реклама. АНО ДПО «Образовательные технологии Яндекса». ИНН 7704282033 erid: 2SDnjeJsoGcКурсы английского для работы в IT от Практикума:https://clck.ru/38QNxFАвтор сценария: Валерия ЖитковаРедактор: Евгения ЩербинаПродюсеры: Маша Агличева и Паша БоровковЗвукорежиссер: Юрий ШустицкийСаунддизайнер: Леша Воробьев

«Будь проще и люди к тебе потянутся» — девиз формата gif. Он действительно прост и не меняется последние 30 лет. Как раз за это его все и любят. Гифка - это больше чем формат: это идея. Это способ упаковать многое в малом. Это память о временах раннего интернета. Это инструмент цифрового художника, но самое главное - это оптимальный способ показать другому человеку в интернете самые тонкие нюансы наших эмоций. В этом выпуске разбираемся, за что интернет полюбил формат gif.erid: 2SDnjf3ZJ4GКурс «Продвинутый Go‑разработчик»: https://clck.ru/37psA2Реклама. АНО ДПО «Образовательные технологии Яндекса». ИНН 7704282033Авторы сценария: Иван Грабарник и Евгения Щербина. Редактор: Евгения ЩербинаПро…

Гнусавый перевод голливудских боевиков, домашний архив с детскими стихами, прочитанными с табуретки, и доступное порно — всё это стало возможным благодаря форматам VHS и DVD. Сначала кассеты, а потом диски принесли видео в каждую гостиную, заполнили наши серванты и — ушли в прошлое под натиском цифровой революции. Или не совсем? В этом выпуске Самат Галимов рассказывает об истории видеореволюции, которую устроили VHS и DVD, и очень много ностальгирует.Реклама. АНО ДПО «Образовательные технологии Яндекса». ИНН 7704282033 erid: 2SDnjckdd4LКурсы английского для работы в IT от Практикума:https://clck.ru/37jsSPАвтор сценария: Валерия ЖитковаРедактор: Евгения ЩербинаПродюсеры: Маша Агличева и Паш…

Почему нельзя просто взять и распечатать любой документ на принтере? Где хранить цифровую память человечества? Как излечить головную боль и художников с дизайнерами, и американской налоговой службы? В этом выпуске Самат Галимов рассказывает, как из попыток ответить на эти вопросы родился один из самых надежных и долговечных форматов электронных документов - PDFРеклама. АНО ДПО «Образовательные технологии Яндекса». ИНН 7704282033 erid: 2SDnjeKAEaCКурс «Инженер данных» в Практикуме:https://clck.ru/37JGtnАвтор сценария: Иван ГрабарникРедактор: Евгения ЩербинаПродюсеры: Маша Агличева и Паша БоровковЗвукорежиссер: Юрий ШустицкийСаунддизайнер: Леша Воробьев

30 лет назад, чтобы послушать любимую песню, нужно было пойти в магазин, отстоять очередь и купить дорогой диск, на который умещалось всего девять композиций. Всё изменил один немецкий ученый, который придумал революционную технологию сжатия звука. Благодаря ей диски стали не нужны - теперь всю музыку мира можно было бесплатно слушать с компьютера, а потом и положить в карман. Новая технология чуть не разорила лейблы и развязала самую кровавую войну в интернете — войну авторов контента с пиратами. В этом выпуске Самат Галимов разбирается в истории создания самого популярного аудиоформата в мире — mp3. Реклама. АНО ДПО «Образовательные технологии Яндекса». ИНН 7704282033 erid: 2SDnjckUYJ4Узн…

Вы помните ваш ник в аське? А каким был первый русскоязычный блог? Или, может, когда вы родились, интернет уже был привычной частью жизни? Мы записали новогодний спешл о том, как в России появился интернет, что менялось в нем со временем и как он стал для нас таким важным. Герой этого выпуска — Дмитрий Морозовский — человек, который всю жизнь занимается развитием рунета. Реклама. АНО ДПО «Образовательные технологии Яндекса» ИНН 7704282033 Подарочные сертификаты Практикума: https://clck.ru/37GttY Материалы из выпуска: Первый выпуск «Вечернего интернета» Антона Носика: https://web.archive.org/web/20190507075313/http://gagin.ru/vi/24dec1996.htm Выпуск «Газеты.ру» 1999 года: https://web.archive…

Вастрик уже больше 10 лет ведет блог для технарей — понятно и с мемами рассказывает о квантовом компьютере, вычислительной фотографии, Вебе 3.0 и других сложных технических штуках. Самат Галимов расспросил его, с чего начался один из самых популярных блогов про технологии в российском интернете, чем погружение в сообщество похоже на знакомство в баре, как избавиться от хейтеров и создать здоровую обстановку в блоге и сколько можно зарабатывать на всём этом. Реклама. АНО ДПО «Образовательные технологии Яндекса» ИНН 7704282033 Подарочные сертификаты Практикума: https://clck.ru/37DT9U В выпуске мы упоминали: Выпуск про квантовые вычисления https://pc.st/e/7ByFIcwxgcv Пост Вастрика про переезд …

Вы наверняка замечали, что от сервисов бывает очень сложно отписаться. Это не случайность: компании борются за ваши клики и деньги и используют для этого вводящие в заблуждение (а иногда и откровенно незаконные) приемы. В этом выпуске Самат Галимов говорит о темных паттернах с CPO «VK знакомств» Игорем Кузнецовым и разбирается, с какими манипуляциями мы сталкиваемся чаще всего, почему они работают и как от них защититься. Телеграм-канал Игоря Кузнецова https://t.me/brainshare Рекомендации от Игоря: Книга Deceptive Patterns: Exposing the Tricks Tech Companies Use to Control You by Harry Brignull Сайт https://www.deceptive.design/ Реклама. АНО ДПО «Образовательные технологии Яндекса» ИНН 7704…

Как рынок IT пережил 2023 год? Что ждет нас в 2024? Как IT-специалистам искать работу прямо сейчас? Самат Галимов поговорит об этом с Кирой Кузьменко — карьерным консультантом и ведущей подкаста «Собес». 12 декабря в 20:00 по Москве подключайтесь к трансляции в закрытом телеграм-канале Либо/Либо: https://cutt.ly/zap1212liveeptg Вы сможете не только послушать разговор, но и задать свои вопросы, так что не забудьте их подготовить. До встречи!

Язык Kotlin, платформа Space, среда разработки Fleet — все эти популярные инструменты сделали в JetBrains. Как появилась компания, изменившая работу программистов по всему миру? Почему первый продукт JetBrains не был самостоятельным? И как компания все время соревнуется с бесплатными продуктами? Самат Галимов говорит с генеральным директором JetBrains Максимом Шафировым. Реклама. АНО ДПО «Образовательные технологии Яндекса» ИНН 7704282033 Базовый курс Go от Практикума: https://clck.ru/36wNWp И продвинутый курс: https://clck.ru/36t9MP Самат Галимов вместе с ведущей подкаста «СОБЕС» Кирой Кузьменко проведут трансляцию для подписчков закрытого телеграм-канала студии «Либо/Либо». Они будут гово…

Самат с бизнес-партнером Федором Борщевым — сооснователи небольшой студии аутсорс-разработки «Федя и Самат». Когда ребята только начинали, в их компании было всего два человека (угадайте их имена). Прошло почти 4 года, и команда закономерно выросла. В этом эпизоде предприниматели рассказывают, как менялись их представления о работе и почему им по-прежнему не подходят 90% программистов на рынке, а еще делятся своими best practices ведения бизнеса. Реклама. АНО ДПО «Образовательные технологии Яндекса» ИНН 7704282033 Курс «Алгоритмы и структуры данных»: https://clck.ru/36pnri Ссылки, о которых мы говорили в этом эпизоде: Выпуск о создании компании: https://zapuskzavtra.libsyn.com/jc8vp34sqnls …

10 лет назад гость сегодняшнего эпизода построил у себя на заднем дворе в Миннесоте замок из бетона. Точнее распечатал 3D-принтером, который сам же и изобрел. Тогда об этом написали многие американские медиа, а Андрей Руденко на время стал знаменитостью. Самат Галимов позвал Андрея в подкаст и расспросил, как он делает свои принтеры и строит на этом бизнес. Реклама. АНО ДПО «Образовательные технологии Яндекса» ИНН 7704282033 erid: 2SDnjc1jxba Курсы Практикума для разработчиков и тестировщиков: https://clck.ru/36jJ7q Репортаж о замке Андрея Руденко: https://youtu.be/DQ5Elbvvr1M?si=C4R6mCgdLmTzJe7h Подкаст «Собес» https://bit.ly/3sMjtf3 Чат Запуска в телеграме: https://t.me/zapuskzavtra Связа…

Что общего у разработки видеоигр и создания домов, персонажей и историй в игре The Sims? Денис Ишмухаметов — программист графики в компании Wargaming, которая выпустила, например, игру World of Tanks. Самат Галимов расспросил Дениса, как устроен процесс разработки, зачем нужен игровой движок, что он умеет и какие с ним бывают сложности. Реклама. АНО ДПО «Образовательные технологии Яндекса» ИНН 7704282033 Промокод на скидку 20% на все курсы Практикума в Черную Пятницу: https://clck.ru/36ZxQg Выпуск про компьютерную графику: https://pc.st/e/6~lAhBor-PC Денис советует книги: Game Engine Architecture by Jason Gregory Real-Time Rendering by Eric Haines, Tomas Möller, Naty Hoffman И YouTube: http…

Вы точно хоть раз оказывались на странице, созданной с помощью Tilda или Readymag. Эти сервисы позволяют сверстать сайт без программирования всего за несколько кликов. Как это возможно? Насколько качественными получаются такие продукты? А можно сделать не сайт, а что-то сложнее? Программисты больше не нужны? Обо всем этом Самат Галимов спрашивает технического директора компании Readymag Антона Васина. Реклама. АНО ДПО «Образовательные технологии Яндекса» ИНН 7704282033 Курс «DevOps для эксплуатации и разработки»: https://clck.ru/36HZHm Слушать «Запуск++» и другие бонусы по подписке ЛибоЛибо+ в приложении «Подкасты» от Apple https://cutt.ly/zap10epap или в закрытом тг-канале Либо/Либо https:…

Спонсор подкаста — https://learn.python.ru

Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: релиз ruff 0.3.0

style czar или попытка привести языки к одному стилю

Gemini Pro объявила кеширование «риском безопасности»

Cloudflare запустили поддержку python в cloud-workers-ах

как за год изменилось состояние Web Assembly в Python

в pypi завезли возможность репортить malware-пакеты закончилось большое обсуждение lock-файлов от Brett Canon вышел DRF 3.15 почти через 2 года после пердыдущей версии Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https:/…

Спонсор подкаста — https://learn.python.ru

Ведущие – Григорий Петров и Михаил Корнеев Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы MoscowPython — https://moscowpython.ru

Спонсор подкаста — https://learn.python.ru

Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: Тул для работы с зависимостями для Python — `uv`

PEP 740 — возможность добавление работы с цифорвыми подписями для реестров пакетов типа PyPI Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы MoscowPython — https://moscowpython.ru

Спонсор подкаста — https://learn.python.ru

Ведущие – Григорий Петров и Михаил Корнеев Ссылки Никиты: GitHub — github.com/sobolevn Youtube — @sobolevn

Ведущие — Михаил Корнеев и Григорий Петров

В этом выпуске обсудили самые интересные и запомнившиеся новости последних двух месяцев. Ниже собрали ссылки на все новости:

JIT-компиляция в Python 3.13

Jetbrains выпустили отчет State of Developer Ecosystem 2023

Python Packaging, One Year Later: A Look Back at 2023 in Python Packaging Самые популярные библиотеки 2023 Вышел Django 5.0 У PSF появился свой Community Communication Manager С 1 января для публикации на pypi должна быть настроена 2fa Why Python is terrible? Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуск…

Спонсор подкаста — https://learn.python.ru Ведущие — Михаил Корнеев и Григорий Петров В этом выпуске обсудили самые интересные и запомнившиеся новости 2023 года Ссылки выпуска: Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы MoscowPython — https://moscowpython.ru

Спонсор подкаста — https://learn.python.ru Ведущие — Михаил Корнеев и Григорий Петров

В выпуске поговорили с Михаилом Вознесенским, руководителем группы разработки почтовых решений RuPost (входит в «Группу Астра») и обсудили следующие темы: какая часть кода используется для внешних API и для другого или насколько валидно писать комментарии для документации

«историю должен рассказывать сам код»

«если есть хороший docstring, то ide или настроенный редактор покажет развернутое описание аргументов»

от чего защищает линтер

голосовые сообщение, как коммент в коде

добавление метаинформации в код Ссылки выпуска: Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/trick…

Спонсор подкаста — https://learn.python.ru Ведущие — Михаил Корнеев и Григорий Петров

В выпуске поговорили с Андреем Столбовским и обсудили следующие темы: что такое SDM?

Андрей о себе и чем занимается сейчас

как в больших компаниях строится мониторинг

почему большие компании вкладываются в команды и просто не поставят себе Sentry

особенность мониторинга в AWS

золотые сигналы

Sentry уже не очень

как правильно смотреть на дашборды

трейсинг

алерты

техники оптимизации и как сжать int в один бит Ссылки выпуска: Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.…

Новый выпуск посвятили актуальным новостям за ноябрь 2023 года в мире Python. Ниже оставили ссылки на все материалы этого подкаста.

Ссылки на новости из выпуска:

Релиз Django Ninja 1.0

PEP 734 (сабинтерпретаторы в stdlib)

Nvidia показала cudf.pandas (GPU)

JetBrains запустил опрос Python-разработчиков

PyPI прошел первый аудит безопасности

Как много core-разработчиков Python использую аннотации типов Деприкейтится datetime.utcnow()

10 неприятных вещей в работе разработчиком Ссылки выпуска: Курс Learn Python — https://learn.python.ru/ Podlodka Python Crew — https://podlodka.io/pythoncrew

Промокод на конфу — MOS_PYTHON

Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Tel…

Спонсор подкаста — https://learn.python.ru Ведущие — Михаил Корнеев и Григорий Петров

В выпуске поговорили с Николаем Свиридовым и обсудили следующие темы: как из инженеров биомедицинского оборудования стать разработчиком

переходить ли в IT без подушки безопасности?

ситуационную работу мозга

роль IT-сообществ в развитии разработчика

сколько времени нужно, чтобы сделать крутой канал об IT

как завалить несколько испытательных сроков и всё равно войти в разработку

выбор тем для канала

общение с аудиторией

перспективы Django Ссылки выпуска: Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python …

Спонсор подкаста — https://learn.python.ru

Новый выпуск посвятили актуальным новостям за октябрь 2023 года в мире Python. Ниже оставили ссылки на все материалы этого подкаста.

Новости выпуска:

Первая бета Django 5.0 PEP 703 — опциональный GIL из коробки PEP 730 — добавить iOS в поддерживаемые платформы Отчет Security Developer-in-Residence за 3 квартал Ведущие: Михаил Корнеев и Григорий Петров

Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы MoscowPython — https://moscowpython.ru

Спонсор подкаста — https://learn.python.ru Ведущие — Михаил Корнеев и Григорий Петров

В выпуске поговорили со Станиславом Змиевым и обсудили следующие темы: Станислав про себя

pathlib.Path.walk в Python имплементация и верификация контрибьюторов

про разработку Open Source

сложно ли контрибьютить в Python начинающим разработчиком

чем занимаются в Monite

как прийти в Open Source и что даёт

рассказывает ли о своих проектах

насколько Open Source выгоден для карьеры

способы монетизации Open Source

отличается ли разработка платформенной инфраструктуры в финтехе

почему разработчиком не нравятся Type hints

что Стас думает о других языках программирования

идеальная траектория развития разработчика С…

Новый выпуск посвятили актуальным новостям за сентябрь 2023 года в мире Python. Ниже оставили ссылки на все материалы этого подкаста.

Ссылки на новости из выпуска:

Релиз Python 3.12

Релиз Flask 3

Jetbrains выпустили Python Developers Survey 2022

Python-редактор в Microsoft Excel Ведущие: Михаил Корнеев и Григорий Петров

Ссылки выпуска: Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы MoscowPython — https://moscowpython.ru

Спонсор подкаста — https://learn.python.ru

Ведущие — Михаил Корнеев и Григорий Петров Обсудили в выпуске: специфику Python-разработки в финтехе как часто случаются вопросы perfomance в команде конференцию Euruko кого ищут в финтех и как ищут как проверяют софт скилы на собеседовании какие хард скилы важны в финтехе как проверяют людей, которые знают, что классно и не классно разделяют ли сервера для расчётов и для обработки запросов есть ли люди, которые делают ревью кода как повышают версии как давно начали использовать FastAPI Миша про революцию в разработке почему FastAPI а не LiteStar? отношение к типизации как синхронизировать чувство меры всех членов команды? что все думают про новый …

Рассказать хорошую историю – сложно. Сделать увлекательный геймплей – тоже сложно. Ну а сделать так, чтобы повествование и игровые механики друг друга органично дополняли – это уже другой уровень и работа для специально обученных людей! Разбираемся в теме с Альфиной, приложившей руку к таким шедеврам как Мор (Утопия) и Disco Elysium. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Женя Кателла, Стас Цыганов

Инженерная культура компании пронизывает нашу работу от и до. Какими критериями бизнес руководствуется при найме и почему собеседования устроены именно так а не иначе? Сколько времени у вас уйдет на реализацию конкретной фичи, а сколько на обсуждения острых вопросов на архитектурном и код-ревью и нужны ли эти ревью вообще? Как принимаются решения о расширении тех. стека проекта? Что нужно сделать, чтобы получить повышение, и что такого натворить, чтобы вас уволили? Не смотря на то, что мы привыкли воспринимать FAANG компании в одну цельную группу, инженерная культура в них сильно отличается. В этом выпуске Алексей Козятинский (ex. Google, а сейчас senior staff SWE в Netflix) откровенно поде…

В выпуске мы придумали идеальное описание языка программирования Zig – это DSL для машинного кода. И за этим определением кроется куча интересных концепций, начиная от брутальной простоты в синтаксисе и фичах, заканчивая метапрограммированием, основанном на comptime вычислениях. Погружаться в все еще редкий, но уже не эзотерический язык нам помогал Алекс Кладов, который использует Zig в разработке настоящего продакшн проекта – базы данных TigerBeetle. Партнёр эпизода — IT-компания Selectel. Ребята создают облачные решения и предлагают в аренду серверы, которые размещают в своих дата-центрах в России. Нетривиальные задачи, опытные коллеги, доверие и поддержка – то, что ждет тебя в Selectel.

…

С Сашей Зиминым поговорили про его опыт работы и жизни в Британии. В начале как наемного сотрудника, а теперь уже как исключительного таланта. В релокационном выпуске традиционно прошлись по климату, бытовым вопросам, сложностям с подготовкой документов, поиском жилья и работы. Радует, что в этом выпуске Женя с Егором также не остались в стороне и поделились своим опытом. Хочешь научиться хитрым фишкам UI под iOS?

Ждем тебя 15-го апреля на iOS Podlodka Crew. Разберем нестандартный лейаут, эффекты на Metal, сложные анимации в SwiftUI, а также поговорим про оптимизацию.

По промокоду UI_MAGIC будет приятная скидка в 500р. Не пропусти сезон! Забирай билет на https://podlodka.io/ioscrew Также жд…

В некоторых выпусках мы уже обсуждали, как работы ученых и инженеров в 60-70-е годы повлияли на современное программирование. Сейчас мы пошли еще дальше! Вместе с Виталием Брагилевским обсуждаем выдающуюся личность Ады Лавлейс, и то, как в ее главном труде видны концепции современного программирования. Встречаем апрель с новым сезоном Podlodka Teamlead Crew, посвященным метрикам. Узнаем про базовый набор метрик тимлида, процессы внедрения и принятия решений на их основе, научимся избавляться от вредных метрик. Забирай билет со скидкой по промокоду TL_ADA: https://podlodka.io/tlcrew Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka …

Дата и время – не самый простой домен. То зимнее-летнее время, то часовые пояса не кратны часу. А что, если не надо привязываться к часовому поясу? Еще в чате распределенной команды написали, что митинг в 5PM, так когда подключаться? Как синхронизировать время с колонией на Марсе? Одни вопросы. И во всех них мы подробнейше разобрались с Никитой Прокоповым. Так что давайте сверим часы и приятного прослушивания! Хочешь научиться оптимизировать производительность UI приложения на лету? Ждем тебя 25-го марта на Android Podlodka Crew. Разберем полезные инструменты, подберем метрики и убедим бизнес выделить ресурсы на оптимизацию. По промокоду HIGH_PERFORMANCE будет приятная скидка в 500р. Не про…

Все ведущие подкаста недавно релоцировались в другие страны. А некоторые – даже несколько раз. Мы по себе знаем, насколько сложен процесс адаптации, и насколько просто вместо интеграции в новую культуру свалиться в одну из возможных крайностей. Юлия Белозерова, экспат с большим опытом и человек, изучающий вопрос культурной интеграции с научной стороны, рассказала про то, как к ней правильно подойти, чем интегрированные экспаты отличаются от неинтегрированных, как правильно проводить смоллтолки, заводить рабочие и личные отношения и преодолеть культурный шок. В новом сезоне Podlodka Product Crew без инфоцыганства и воды разбираемся в практическом применении ML и AI. Как внедрить AI-фичи в пр…

FemTech — технологии, которые улучшают жизнь и здоровье женщин. Если вы думаете, что дело заканчивается трекерами цикла… То, поверьте, этот выпуск вас удивит! Gender data gap — огромная и далеко не единственная проблема в сфере женского здравоохранения. Но наука, технологии, и общество не стоят на месте: создается все больше продуктов направленных на здоровье женщин и решение специфичных для них проблем. В этом выпуске вместе Ирой Евдокимовой, основательницей первого медиа о FemTech на русском языке, разбираемся, как технологии на любой вкус — от AI до блокчейна — помогают женщинам, а также что происходит на рынке FemTech продуктов. Яндекс Практикум поможет прокачать скилы и расти в IT-проф…

Продолжаем разбираться, за что отвечают разные C-level менеджеры, и в этот раз фокус на деньгах – говорим про CFO. Готовьте кошельки!

Поговорили про финансирование, планирование, управление рисками – и все это на масштабах от стартапа до корпорации. А в гостях у нас Денис Дубовцев. Начните учиться бесплатно и попробуйте вводную часть курса «Фулстек разработчик с нуля» Яндекс Практикума: https://clck.ru/38ydkW Реклама. АНО ДПО «Образовательные технологии Яндекса». ОГРН 1147799006123. erid 2SDnjdFywhz для Твиттера

Продолжаем разбираться, за что отвечают разные C-level менеджеры, и в этот раз говорим про CFO. Готовьте кошельки!

Поговорили про финансирование, планирование, и управление рисками …

Мы уже несколько выпусков посвятили тому, как правильно “готовить” тесты — составлять тест-кейсы, реализовывать и оптимизировать автотесты, поддерживать тестовую документацию. Но один вопрос остается открытым — а же все это тестирование проводить? В этом выпуске эксперт в DevOps Александр Тарасов, погрузил нас в мир тестовых сред. Мы не только разобрались в классическом разделении dev / staging / production, но и рассмотрели альтернативный подход с “миксом” сред, в котором нет выделенной среды для тестирования. Обсудили не только туллинг, но и извечный вопрос коммуникации разработичков и тестировщиков — в общем, как всегда, разобрали тему со всех сторон! Ведущие в выпуске:

Катя Петрова, Евг…

Результат работы программистов – код. Дизайнеров – макеты и красивые иконки. А вот с тестировщиками все намного интереснее! Вместе с Анастасией Заречневой, тестировщицей из JetBrains и создательницей сообщества QA Sisters, мы разбираемся, что такое тестовая документация, откуда вообще берутся тест-кейсы, какие хитрые практики тест-дизайна помогают оптимизировать их количество, и как эти тест-кейсы правильно хранить и использовать. Подкаст записан при поддержке Test IT — разработчика самой популярной в России TMS. Простая организация тестовой документации: ручные и автотесты в едином интерфейсе, удобное планирование, наглядная отчетность и широкие возможности интеграции. Бесплатный триальный…

В выпуске обсудили нескучные правила шахмат, а также разновидности шахмат. Рассмотрели шахматы как вид спорта, или даже киберспорта. Узнали как AI играет в шахматы, оценивает силу ходов, помогает совершенствоваться, а иногда – читерить. В гости к нам пришел Даня Пилин – создатель онлайн школы по шахматам в Skyeng, product owner. Бесплатный курс Практикума «Какую профессию в программировании выбрать» поможет определиться с направлением по душе:

https://clck.ru/38Z2NE Реклама. АНО ДПО «Образовательные технологии Яндекса». ОГРН 1147799006123. erid 2SDnjcBYN8Y Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.…

И стартап, и пет-проект проще начинать с кем-то, например, другом или родственником. Сначала вы просто делаете что-то прикольное, но с ростом проекта растут и ставки. Как не навредить проекту и сохранить здоровое партнерство – рассказывает Дмитрий Гриц. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Женя Кателла, Катя Петрова Полезные ссылки: Telegram-канал https://t.me/partnership_expert Instagram

https://instagram.com/grits.partners Youtube

https://youtube.com/@ds…

Мы много времени уделяем обсуждению того, как писать код классно — спорим про технологии, языки, фреймворки, IDE и т. п. При этом все мы знаем, что реализация фичи — это лишь верхушка айсберга. А что там насчет стабильности?

Обеспечение качества продукта — сложный, трудоемкий процесс, который требует постоянного внимания. В этом выпуске вместе с Сашей Пшеборовской обсудили все аспекты автоматизации тестирования — от основных челленджей построения таких систем до специфики написания тестов под конкретную платформу, от инструментов до лучших практик и трендов. Выпуск будет полезен всем, вне зависимости от вашей роли на проекте, ведь в итоге качественных продукт — это результат командой работы…

Беседуем с Сереем Суховым, создателем самого крупного Telegram-канала о стоицизме и тренажера по стоицизму.Support the showApplePodcasts: https://apple.co/2Psx8yd GooglePodcasts: https://shorturl.at/finK1 Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

Перед разговором с Сергеем Суховым о философии стоиков я решил записать короткий эпизод про принципы философии стоицизма.Support the showApplePodcasts: https://apple.co/2Psx8yd GooglePodcasts: https://shorturl.at/finK1 Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

Илья Параушкин — СЕО компании Biovolf. Биотех — необъятное поле для беседы. На этот раз продолжили разговор про экстремофилов, обсудили эволюцию, экосистемы, биологические катастрофы и перспективы человечества. Илью вы точно ещё у нас услышите.Support the showApplePodcasts: https://apple.co/2Psx8yd GooglePodcasts: https://shorturl.at/finK1 Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

Михаил Свердлов, ex-CBDO в Skypro, ex-Content Director в Skyeng, эксперт и консультант по образовательному продукту и аналитике, независимый CPO/директор по развитию и стратегии, автор телеграм-канала Образование, которое мы заслужили.У Миши очень богатый опыт в создании и развитии технологических продуктов на разных рынках, 5 лет из них в сфере образования. Последние 1,5 года Миша живёт в США.Ссылки:Канал «Образование, которое мы заслужили» https://t.me/ru_educationКанал «Камера хранения»https://t.me/schoolstorageИсследование с ВШЭ про аналитику в образовании и дата-центричный подход к построению образовательного контентаhttps://ioe.hse.ru/pubs/share/direct/547495575.pdfИсследование для Na…

Маша Грекова делает несколько проектов для взрослых людей с ментальными особенностями.Нормальное местоhttps://www.mestonorm.ruПростые вещиhttps://prostieveschi.ruОгурцыhttps://www.instagram.com/ogurtsinafontanke/Support the showApplePodcasts: https://apple.co/2Psx8yd GooglePodcasts: https://shorturl.at/finK1 Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

Илья Параушкин — СЕО компании Biovolf.https://biovolf.com/Слушайте "Проветримся!", где вам удобно:ApplePodcasts: https://apple.co/2Psx8ydGooglePodcasts: https://clck.ru/F7BA7Я.Музыка: https://clck.ru/JJB8ySupport the showApplePodcasts: https://apple.co/2Psx8yd GooglePodcasts: https://shorturl.at/finK1 Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

Аня Коган — СЕО OpenCV.AI и член совета директоров библиотеки OpenCV.Подпишись на Аню в телеграм https://t.me/aiandanyaSupport the showApplePodcasts: https://apple.co/2Psx8yd GooglePodcasts: https://shorturl.at/finK1 Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

Арсений Веснин был журналистом Эха в Петербурге, а в 2022 стал капитаном яхты Ойкумена, на которой хочет пройти путём Одиссея. У Ойкумены есть телеграм, сайт и инстаграм.Support the showApplePodcasts: https://apple.co/2Psx8yd GooglePodcasts: https://shorturl.at/finK1 Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

Закрываем сезон разговором про длинные технологические тренды с Андреем Себрантом. Андрей — директор Яндекса по стратегическому маркетингу, автор и ведущий подкаста "Трёп Себранта", автор телеграм канала TechSparks.Не забудьте поделиться этим эпизодом (и любыми другими, которые вам понравятся).ApplePodcasts: https://apple.co/2Psx8ydGooglePodcasts: https://shorturl.at/finK1Я.Музыка: https://clck.ru/JJB8ySupport the show

В заключительном эпизоде второго сезона мы пытаемся разобраться, как новое поколение нейросетей меняет науки и чем теперь заняться ученым, если больше не нужно даже писать рефераты. erid: 2SDnjdTbzaL Реклама. АО «Точка». ИНН 9705120864 Кольцо для бесконтактной оплаты от Точки: https://tchk.me/m4f2g4 Слушайте первые выпуски подкаста «Шум в ушах» на всех платформах https://cutt.ly/shu12vupc, а все восемь выпусков уже доступны в Apple Podcasts https://cutt.ly/shu1212vuap или в закрытом телеграм канале Либо/Либо https://cutt.ly/shu1212vutg

Сколько датчиков нужно роботу, чтобы не путать человека с тенью от пакета, зачем ставить лазеры на такси и почему гонка беспилотных автомобилей происходит не на стадионах, а в датацентрах erid: 2SDnjepcB5i Реклама. АО «Точка». ИНН 9705120864 Откройте счёт в Точке: https://tochka.com/rko-landings/brand-f/

В этом эпизоде трехногий Трамп идет за решетку, в небе парит знак «стоп», машины генерируют несуществующих знаменитостей, и мы почти лишаемся возможности верить своим глазам. Реклама. АО «Точка». ИНН 9705120864 erid: 2SDnjevWRtU Не упустите год бесплатного обслуживания в Точке https://tchk.me/ELNBOi

В этом эпизоде мы расскажем, почему великого лингвиста Ноама Хомского бесят нейросети, как чатджипити подставил целую юридическую фирму из Нью Йорка и кто смотрит на вас из диалогового окошка языковых моделей. Купить билет на конференцию ТОК можно по ссылке: https://clck.ru/36HEzc А с промокодом ЗДЕСЬ у вас будет скидка 25% Реклама. АО «Точка» ИНН 9705120864 erid: Kra23V3Uv Слушайте бонусные выпуски подкастов студии «Либо/Либо» по подписке «ЛибоЛибо+» в Apple Podcasts https://cutt.ly/vun10epap или в закрытом Telegram-канале https://cutt.ly/vun10eptg

В этом эпизоде мы расскажем, почему вам не кажется, что нейросети как с цепи сорвались. Как человечество попало в третью эпоху вычислений, а так же когда мы прошли первую и вторую и почему ничего не заметили. Откройте счёт в Точке https://tchk.me/gExbWX Реклама. АО «Точка» ИНН 9705120864 erid: Kra23opKJ

Topics include NumFOCUS concerns, leaping pytest debugger llm, , and PyPI has completed its first security audit.

Topics include How to Set Up Pre-Commit Hooks A step-by-step guide to installing and configuring pre-commit hooks on your project, difftastic, Quarto, and constable.

Topics include pacemaker, PyPI suspends new user registration to block malware campaign, Python Project-Local Virtualenv Management Redux, and Python Edge Workers at Cloudflare.

Topics include justpath, , LPython, and dramatic.

Topics include 🤖 On Robots.txt, niquests, Every dunder method in Python, and Lockbox.

Topics include pycountry, Does Python have pointers?, ingestr, and Make your terminal nice.

Topics include 6 ways to improve the architecture of your Python project (using import-linter), Mountaineer, Why Python's Integer Division Floors, and Hatchet.

Topics include zoxide, Smart CLIs with Typer, Python recommended officially by the US Government, and Textual tutorials at Mouse vs Python.

Topics include uv: Python packaging in Rust, jpterm, Everything You Can Do with Python's textwrap Module, and HTML First.

Topics include AppleCrate, One way to package Python code right now, Flask8 but why?, and.

Topics include Dokku, Summary of Major Changes Between Python Versions, speedtest-cli, and.

Topics include Granian, pytest 8 is here, , and New GitHub Copilot Research Finds 'Downward Pressure on Code Quality'

Topics include Syntax Error #11: Debugging Python, umami umami-analytics, pytest-suite-timeout, and Listmonk (py) listmonk.

Topics include Leaving the cloud, PEP 723 - Inline script metadata, Flet for Android, and harlequin: The SQL IDE for Your Terminal.

Anaconda is a popular platform for data science, machine learning, and AI. It provides trusted repositories of Python and R packages and has over 35 million users worldwide. Rob Futrick is the CTO at Anaconda, and he joins the show to talk about the platform, the concept of an OS for AI, and more. This

The post Anaconda and Accelerating AI Development with Rob Futrick appeared first on Software Engineering Daily.

Panic has created games such as Firewatch and Untitled Goose Game. They recently ventured into gaming hardware with the Playdate. The console is unique for its inputs, which include a hand crank, and because Panic provides a free SDK, so anyone can develop games for it. James Moore is a DevOps Engineer and Dave Hayden

The post Engineering the Playdate Gaming Handheld with James Moore and Dave Hayden appeared first on Software Engineering Daily.

Machine learning models learn patterns and relationships from data to make predictions or decisions. The quality of the data influences how well these models can represent and generalize from the data. Nihit Desai is the Co-founder and CTO at Refuel.ai. The company is using LLMs for tasks such as data labeling, cleaning, and enrichment. He

The post Using LLMs for Training Data Preparation with Nihit Desai appeared first on Software Engineering Daily.

Kentik is a network observability platform that focuses on letting users easily ask questions and get answers about their network. Avi Freedman is the CEO of Kentik and he joins the podcast to talk about the platform, his observability philosophy, the role of AI in observability, and much more. Full Disclosure: This episode is sponsored

The post AI-Driven Observability at Kentik with Avi Freedman appeared first on Software Engineering Daily.

Solid.js is a popular JavaScript framework known for its reactive and efficient rendering system. Instead of using a Virtual DOM, it compiles its templates to real DOM nodes and updates them with fine-grained reactions. Ryan Carniato is the creator of SolidJS, and he joins the show to talk about the framework. Taylor Nodell is a

The post SolidJS with Ryan Carniato appeared first on Software Engineering Daily.

Sammy Steele is a Senior Staff Engineer at Figma, and the tech lead for their databases team. She previously worked at Dropbox, where she built out their petabyte-scale metadata storage and search systems. Sammy recently published a blog called “How Figma’s databases team lived to tell the scale”. The blog went viral and made it

The post Database Scaling at Figma with Sammy Steele appeared first on Software Engineering Daily.

Autonomous vehicle engineering is a huge challenge and requires the integration of many different technologies. A self-driving car needs data from multiple sensors, ML models to process that data, engineering to couple software and mechanical systems, and much more. Ian Williams is a Senior Staff Software Engineer at Cruise, and before that worked at Google,

The post Bonus Episode: How to Build a Self-Driving Car with Ian Williams appeared first on Software Engineering Daily.

Ben Huber is a security engineer who has worked at companies including Crypto.com and Blackpanda. He joins the podcast to talk about his career, penetration or “pen” testing, attack vectors, security tools, and much more. Gregor Vand is a security-focused technologist, and is the founder and CTO of Mailpass. Previously, Gregor was a CTO across

The post Security Engineering with Ben Huber appeared first on Software Engineering Daily.

George Mathew is a Managing Director at Insight Partners where he invested in Weights & Biases, Jasper, and others. He has over 20 years of experience developing high-growth technology startups including most recently being CEO of Kespry. George joins the podcast to talk about his path to becoming an investor, his data-first thesis about investment,

The post Startup Investing with George Mathew appeared first on Software Engineering Daily.

Event-driven architecture is a software design pattern where system components communicate through events that are generated by producers, and pushed to consumers. This design is often contrasted with a request-driven architecture, where components communicate with each other by sending requests and receiving responses. Hookdeck is an event gateway for receiving, processing, and delivering asynchronous messages.

The post Hookdeck and Building an Event Gateway with Alex Bouchard appeared first on Software Engineering Daily.

OAuth is an open standard for access delegation. It lets users grant websites or applications access to their information on other websites, but without giving away passwords. OpenID Connect is an identity layer on top of OAuth. Even if you haven’t programmed using OAuth and OpenID Connect, you’ve certainly used them for authentication on Google,

The post Authlete and Making OAuth Accessible with Justin Richer appeared first on Software Engineering Daily.

Today, you can access Netflix on virtually any device. For a Netflix user, this seamless experience can be easy to take for granted, but it requires an enormous engineering effort. Jay Phelps is a Senior Software Engineer at Netflix where he works on Shared Client Foundations. He joins the show to talk about the start

The post Netflix Engineering with Jay Phelps appeared first on Software Engineering Daily.

Snowflake is one of the most prominent platforms for interacting with data and building data-intensive applications. Dan Myers works in Developer Relations at Snowflake and he joins the show to talk about the future of application development, and building native data apps on the platform. Sean’s been an academic, startup founder, and Googler. He has

The post Data Applications on Snowflake with Daniel Myers appeared first on Software Engineering Daily.

Kaze Emanuar is a ROM hacker who’s famous for the array of mods he’s made for Super Mario 64. He’s implemented remarkable optimization to the decompiled game code, even pushing Super Mario 64 to run at 60 frames per second. Kaze joins the show to talk about his interest in Super Mario 64, ROM hacking,

The post Bonus Episode: Optimizing Nintendo 64 Code with Kaze Emanuar appeared first on Software Engineering Daily.

Managing data and access to data is one of the biggest challenges that a company can face. It’s common for data to be siloed into independent sources that are difficult to access in a unified and integrated way. One approach to solving this problem is to build a layer on top of the heterogenous data

The post A Semantic Layer for Data with Artyom Keydunov appeared first on Software Engineering Daily.

-=Выпуск 77=- Немного прогнозов про технологические интересности наступающего года; в основном те, которые касаются цифровой стороны нашего мира и её развития. В выпуске упомянуты мартовский (2023) и с его прогнозом на 2024

-=Выпуск 76=- О быстрой эволюции языковых моделей в мультимодальные и поведенческие, об интересных недавних анонсах и — неожиданно для меня самого — довольно много про книгу Гаспара Кёнига “Конец индивидуума”, которая недавно вышла в русском переводе и представляет интересную картинку взглядов сотни очень разных людей на развитие ИИ в пересказе и с комментариями французского философа.

Big Sur, CA

This strategy requires us to introduce seams into the mainframe system: points in which we could divert logic flow into newer services.

In a recent project we investigated several approaches to introduce these seams into a long-lived mainframe system.

The cost factor plays an important role, as it involves building upon your legacy system, potentially straining your existing infrastructure further.

Coarse Seam: Data interactions as a Seam One of the primary areas of focus was the pervasive database accesses across programs.

This module fed data from multiple data pipelines, and applied Simple and Complex rules to DB2.

This strategy requires us to introduce seams into the mainframe system: points in which we could divert logic flow into newer services.

In a recent project we investigated several approaches to introduce these seams into a long-lived mainframe system.

The cost factor plays an important role, as it involves building upon your legacy system, potentially straining your existing infrastructure further.

Coarse Seam: Data interactions as a Seam One of the primary areas of focus was the pervasive database accesses across programs.

This module fed data from multiple data pipelines, and applied Simple and Complex rules to DB2.

This strategy requires us to introduce seams into the mainframe system: points in which we could divert logic flow into newer services.

In a recent project we investigated several approaches to introduce these seams into a long-lived mainframe system.

In the client’s Legacy system, various attributes were generated for each consumer, and given the strict industry regulations, maintaining continuity was essential to ensure contractual compliance.

In the client’s Legacy system, various attributes were generated for each consumer, and given the strict industry regulations, maintaining continuity was essential to ensure contractual compliance.

The cost factor plays an important role, as it invo…

Martin Fowler: 28 Mar 2024As the enmuskification of Twitter continues, I’ve increasingly heard that more people are using LinkedIn to keep up with new professional material.

So, a couple of weeks ago, I set up my LinkedIn account, so people can follow me on that platform.

I’ve always avoided LinkedIn - I’ve found the whole vibe of connections rather off-putting.

But LinkedIn has added a “creator mode”, which encourages people to follow someone for posts rather than the bi-directional connection.

Sadly, LinkedIn doesn’t have lists, and pushes everything someone likes into the single connection feed.

I'd first met John Kordyback ten years prior to this.

Of more professional importance, he found much that appealed in our embrace of agile software development.

The world of agile software was very different in the early 2000s.

But the most important core principle of agile that John understood was that agile habits were founded upon humans working together.

When John went into the mainframe world, he listened to those already there.

This strategy requires us to introduce seams into the mainframe system: points in which we could divert logic flow into newer services.

In a recent project we investigated several approaches to introduce these seams into a long-lived mainframe system.

In the client’s Legacy system, various attributes were generated for each consumer, and given the strict industry regulations, maintaining continuity was essential to ensure contractual compliance.

In the client’s Legacy system, various attributes were generated for each consumer, and given the strict industry regulations, maintaining continuity was essential to ensure contractual compliance.

The cost factor plays an important role, as it invo…

This strategy requires us to introduce seams into the mainframe system: points in which we could divert logic flow into newer services.

In a recent project we investigated several approaches to introduce these seams into a long-lived mainframe system.

In the client’s Legacy system, various attributes were generated for each consumer, and given the strict industry regulations, maintaining continuity was essential to ensure contractual compliance.

In the client’s Legacy system, various attributes were generated for each consumer, and given the strict industry regulations, maintaining continuity was essential to ensure contractual compliance.

The cost factor plays an important role, as it invo…

Abi Noda is the founder and CEO of DX , focused on helping organizations measure and improve developer productivity.

Organizations should prioritize measuring developer productivity using data from humans, rather than data from systems.

Figure 1: Qualitative metrics are measurements derived from humans The definition of the word “metric” is unambiguous.

An alternate definition we’ve heard is that qualitative metrics measure quality, while quantitative metrics measure quantity.

Advocating for qualitative metrics Executives are often skeptical about the reliability or usefulness of qualitative metrics.

From time to time people ask me for a copy of the code I used in the opening chapter of Refactoring, so they can follow along themselves.

Fortunately Emily Bache is more dedicated, and she has set up a github repository - the Theatrical Players Refactoring Kata - with the code, and enough tests to make it reasonable to do the refactoring.

The repository goes further than this, however, in that it includes similar sample code in a dozen languages, including C, Java, Rust, and Python.

She has recently posted a video to her YouTube channel, which outlines why she encourages folks to use this code while they are reading that chapter.

Her channel includes a lot of videos on good code technique, …

Measuring developer productivity is a difficult challenge.

Organizations should prioritize measuring developer productivity using data from humans, rather than data from systems.

Today, developer productivity is a critical concern for businesses amid the backdrop of fiscal tightening and transformational technologies such as AI.

An alternate definition we’ve heard is that qualitative metrics measure quality, while quantitative metrics measure quantity.

Advocating for qualitative metrics Executives are often skeptical about the reliability or usefulness of qualitative metrics.

Measuring developer productivity is a difficult challenge.

Qualitative metrics offer a powerful way to measure and understand developer productivity using data derived from developers themselves.

Organizations should prioritize measuring developer productivity using data from humans, rather than data from systems.

Today, developer productivity is a critical concern for businesses amid the backdrop of fiscal tightening and transformational technologies such as AI.

Advocating for qualitative metrics Executives are often skeptical about the reliability or usefulness of qualitative metrics.

And… What if we rotate pairs every day?

There is a perception that rotating pairs every day, or every other day, is more costly and more difficult than rotating once a week.

It is also not practical to rotate pairs on task completion since it is unlikely that other pairs finish at the same time.

With pairs rotating every day, team members were forced to work in unfamiliar areas of the codebase.

“The work is moving among the team members” Team members found that everyone developed context related to all the cards in progress, even before working on each card.

With Event Interception, we identify existing integration points between legacy components and if possible take advantage of them as seams we can use to introduce new capabilities.

As we look to displace a legacy system a part at a time, we look to identify, extract and replace application capabilities.

How It WorksLegacy systems may and usually do have numerous targets for Event Interception including message consumers, http API's, SQL connections, batch jobs and others.

Event Interception is a technique that uses these technical seams, and does this by enabling events passing from one component to another to be intercepted and routed to new components/services.

Routing requests depending …

But a team that operates remotely still benefits from face-to-face gatherings, and should do them every few months.

Remote-first teams have everyone in a separate location, communicating entirely by email, chat, video and other communication tools.

A regular pattern I see from those who are effective in remote-first work is that they ensure regular face-to-face meetings.

At Thoughtworks, we learned the importance of regular face-to-face gatherings for remote teams when we first started our offshore development centers nearly two decades ago.

Claire Lew surveyed remote-first teams in 2018, noting that a quarter of their respondents did retreats “several times a year”.

В этой статье я предложу краткий и удобный формат интерактивной API-документации для любых HTTP API (REST, RPC и что угодно еще).

HTTP-статус 201 Created означает, что в результате запроса был создан новый пример.

Наконец, удалим пример:HTTP-статус 204 No Content означает, что мы удалили пример, поэтому гитхаб больше ничего не может о нем сообщить.

У Gists API есть и другие полезные возможности, но мы не будем их рассматривать.

length ; i ++ ) {Вызов API и показ результатов и того проще — используем браузерное Fetch API и выводим ответ как текст:

Проектная область видимости:$ cd /my/project $ sqlpkg init $ sqlpkg install sqlite/stmt $ tree .sqlpkg .sqlpkg └── sqlite └── stmt ├── sqlpkg.json └── stmt.dylibГлобальная область видимости:$ cd /some/other/path $ sqlpkg install sqlite/stmt $ tree ~/.sqlpkg /Users/anton/.sqlpkg └── sqlite └── stmt ├── sqlpkg.json └── stmt.dylibИ никаких флагов!

Вместо простого «выведи содержимое .sqlpkg» у нас теперь 4 возможных ситуации для каждого пакета:Пакет есть в .sqlpkg и в локфайле, причем версии совпадают.

Пакет есть в .sqlpkg и в локфайле, но версии отличаются.

type Package struct { Owner string Name string Version string Homepage string Repository string Specfile string Authors [] string License …

Язык OdinДавно подыскиваю для себя альтернативу языку C. Посмотрел на днях Rust, Nim, Zig, Hare и Odin.

А хотелось бы еще замену C.У Odin уникальный набор качеств:Простой язык без лишних прибамбасов.

Если исходный файл main.odin находится в текущем каталоге, собрать и запустить его можно так:docker run --rm --volume $(pwd):/sandbox --workdir /sandbox odin:latest odin run .

run : @docker run --rm --volume $( shell pwd ) :/sandbox --workdir /sandbox odin:latest odin run .

Но компания, в которой работает автор языка, активно использует Odin в продакшене, так что проверку реальностью он уже прошел.