Data Engineering
про инжиниринг данных и аналитику
🏢 %company% Engineering
AirBnb Engineering
последний пост 1 week, 6 days назад
Sandcastle: data/AI apps for everyone
Sandcastle: data/AI apps for everyone Sandcastle: data/AI apps for everyone

Airbnb made it easy to bring data/AI ideas to life through a platform for prototyping web applications.By: Dan MillerWarm, friendly beach capturing the playful nature of prototyping.IntroductionTrustworthy data has always been a part of Airbnb’s technical DNA. However, it is challenging for our data scientists and ML practitioners to bring data- and AI-powered product ideas to life in a way that resonates with our design-focused leadership. Slide decks with screenshots, design documents with plots, and even Figmas are insufficient to capture ideas that need to be experienced in order to be understood. This was especially true as large language models (LLMs) took the world by storm, since th…

1 week, 6 days назад @ medium.com
Riverbed Data Hydration — Part 1
Riverbed Data Hydration — Part 1 Riverbed Data Hydration — Part 1

Riverbed Data Hydration — Part 1A deep dive into the streaming aspect of the Lambda architecture framework that optimizes how data is consumed from system-of-record data stores and updates secondary read-optimized stores at Airbnb.OverviewIn our previous blog post we introduced the motivation and high-level architecture of Riverbed. As a recap, Riverbed is a part of Airbnb’s tech stack designed to streamline and optimize how data is consumed from system-of-record data stores and update secondary read-optimized stores. The framework is built around the concept of ‘materialized views’ — denormalized representations of data that can be queried in a predictable, efficient manner. The primary go…

3 weeks, 6 days назад @ medium.com
Building Postcards for “Airbnb” Scale
Building Postcards for “Airbnb” Scale Building Postcards for “Airbnb” Scale

By: Leo Wong, Henry JohnsonHow the Airbnb Media team built group travel Postcards for the 2024 Summer Release by leveraging a novel destination matching algorithm while advancing the platform’s image & localized text processing capabilities.Airbnb Postcards (see announcement).IntroductionFor Airbnb’s 2024 Summer Release, the Media Ingestion team at Airbnb took on the exciting challenge of creating a reliable postcard generation system to generate unique, hand-crafted Postcards. Postcards are a beautiful way to invite guests on a trip while keeping friends and family in the loop (see announcement). This feature required a novel solution to match relevant postcards to every possible destinati…

1 month, 1 week назад @ medium.com
Personal Data Classification
Personal Data Classification Personal Data Classification

An Important Foundation For Security, Privacy, and Compliance at AirbnbBy: Sam Kim, Alex Klimov, Woody Zhou, Sylvia Tomiyama, Aniket Arondekar, Ansuman AcharyaIntroductionAirbnb is built on trust. One key way we maintain trust with our community is by ensuring that personal data is handled with care, in a manner that meets security, privacy, and compliance requirements. Understanding where and what personal data exists is foundational to this.Over the past several years, we’ve built our own data classification system that adapts to the needs of our data ecosystem, to streamline our processes, and further unlock our ability to protect the data entrusted to Airbnb. This was made possible by m…

1 month, 2 weeks назад @ medium.com
Apache Flink® on Kubernetes
Apache Flink® on Kubernetes Apache Flink® on Kubernetes

Airbnb’s Use of A New Flink platform evolved from Apache Hadoop® YarnIntroductionAt Airbnb, Apache Flink was introduced in 2018 as a supplementary solution for stream processing. It ran alongside Apache Spark™ Streaming for several years before transitioning to become the primary stream processing platform. In this blog post, we will delve into the evolution of Flink architecture at Airbnb and compare our prior Hadoop Yarn platform with the current Kubernetes-based architecture. Additionally, we will discuss the efforts undertaken throughout the migration process and explore the challenges that arose during this journey. In the end we will summarize the impact, learnings along the way and f…

2 months, 1 week назад @ medium.com
How Airbnb Smoothly Upgrades React
How Airbnb Smoothly Upgrades React How Airbnb Smoothly Upgrades React

Incrementally modernizing our frontend infrastructure to roll out the latest React features without downgradesIntroductionAirbnb’s frontend recently reached a major milestone: all of our web surfaces have been upgraded from React 16 to React 18, the current major version of React¹. This was a big project for a product with many surfaces, including Guest and Host pages as well as many internal tools. To safely perform this upgrade, we created the React Upgrade System: reusable infrastructure that allows us to roll out new versions of React progressively across our monorepo and measure the results of the upgrade. In this blog post, we’ll discuss our upgrade philosophy, the system we created, …

2 months, 2 weeks назад @ medium.com
Rethinking Text Resizing on Web
Rethinking Text Resizing on Web Rethinking Text Resizing on Web

Airbnb has made significant strides in improving web accessibility for Hosts and guests who require larger text sizes.This post takes an in-depth look at:The problems encountered on mobile web when relying solely on browser zoom.The challenges of introducing changes that would impact the workflow of all frontend engineers.The benefits seen since launching these accessibility improvements.by: Steven BassettImproving web accessibility is a critical priority at Airbnb, and we use the Web Content Accessibility Guidelines (WCAG) to help guide our compliance efforts. One area that often leads to accessibility issues is WCAG 1.4.4 Resize Text (Level AA). This guideline, which we’ll refer to as Res…

4 months, 3 weeks назад @ medium.com
Animations: Bringing the Host Passport to Life on iOS
Animations: Bringing the Host Passport to Life on iOS Animations: Bringing the Host Passport to Life on iOS

How Airbnb enabled hosts and guests to connect and introduce themselves through the Host Passport.By: Anne LuIntroductionIn May 2023 we introduced the Host Passport as part of our Summer Release. We wanted to give Hosts a way to introduce themselves, and start building a more personal connection with their guests. To that end, we created the Host Passport, which appears in the bottom corner of each Private Room listing result with a photo of the Host on the cover. Guests can tap it to fully open the Host Passport and learn more about the Host and get a sense for the real live person they would be staying with.The Passport animationThe Host Passport offers Hosts a way to introduce themselves…

5 months назад @ medium.com
Airbnb Brandometer: Powering Brand Perception Measurement on Social Media Data with AI
Airbnb Brandometer: Powering Brand Perception Measurement on Social Media Data with AI Airbnb Brandometer: Powering Brand Perception Measurement on Social Media Data with AI

How we quantify brand perceptions from social media platforms through deep learningBy Tiantian Zhang, Shuai Shao (Shawn)IntroductionAt Airbnb, we have developed Brandometer, a state-of-the-art natural language understanding (NLU) technique for understanding brand perception based on social media data.Brand perception refers to the general feelings and experiences of customers with a company. Quantitatively, measuring brand perception is an extremely challenging task. Traditionally, we rely on customer surveys to find out what customers think about a company. The downsides of such a qualitative study is the bias in sampling and the limitation in data scale. Social media data, on the other ha…

5 months, 2 weeks назад @ medium.com
Introducing Trio | Part III
Introducing Trio | Part III Introducing Trio | Part III

Part three on how we built a Compose based architecture with Mavericks in the Airbnb Android appBy: Eli Hart, Ben Schwab, and Yvonne WongTrio is Airbnb’s framework for Jetpack Compose screen architecture in Android. It’s built on top of Mavericks, Airbnb’s open source state management library for Jetpack. In this blog post series, we’ve been breaking down how Trio works to help explain our design decisions, in the hopes that other teams might benefit from aspects of our approach.We recommend starting with Part 1, about Trio’s architecture, and then reading Part 2, about how navigation works in Trio, before you dive into this article. In this third and final part of our series, we’ll discuss…

5 months, 4 weeks назад @ medium.com
Chronon, Airbnb’s ML Feature Platform, Is Now Open Source
Chronon, Airbnb’s ML Feature Platform, Is Now Open Source Chronon, Airbnb’s ML Feature Platform, Is Now Open Source

A feature platform that offers observability and management tools, allows ML practitioners to use a variety of data sources, while handling the complexity of data engineering, and provides low latency streaming.By: Varant Zanoyan, Nikhil Simha RaproluChronon allows ML practitioners to use a variety of data sources as inputs to feature transformations. It handles the complexity of data plumbing, such as batch and streaming compute, provides low latency serving, and offers a host of observability and management tools.Airbnb is happy to announce that Chronon, our ML Feature Platform, is now open source.We’re excited to be making this announcement along with our partners at Stripe, who are earl…

6 months назад @ medium.com
Introducing Trio | Part II
Introducing Trio | Part II Introducing Trio | Part II

Part two on how we built a Compose based architecture with Mavericks in the Airbnb Android appBy: Eli Hart, Ben Schwab, and Yvonne WongIn the previous post in this series, we introduced you to Trio, Airbnb’s framework for Jetpack Compose screen architecture in Android. Some of the advantages of Trio include:Guarantees type safety when communicating across module boundaries in complex appsCodifies expectations about how ViewModels are used and shared, and what interfaces look like between screensAllows for stable screenshot and UI tests and simple navigation testingCompatible with Mavericks, Airbnb’s open source state management library for Jetpack (Trio is built on top of Mavericks)If you n…

6 months назад @ medium.com
Introducing Trio | Part I
Introducing Trio | Part I Introducing Trio | Part I

A three part series on how we built a Compose based architecture with Mavericks in the Airbnb Android appBy: Eli Hart, Ben Schwab, Yvonne WongAt Airbnb, we have developed an Android framework for Jetpack Compose screen architecture, which we call Trio. Trio is built on our open-source library Mavericks, which it leverages to maintain both navigation and application state within the ViewModel.Airbnb began development of Trio more than two years ago, and has been using it in production for over a year and a half. It is powering a significant portion of our production screens in Airbnb’s Android app, and has enabled our engineers to create features in 100% Compose UI.In this blog post series, …

6 months, 1 week назад @ medium.com
Migrating Our iOS Build System from Buck to Bazel
Migrating Our iOS Build System from Buck to Bazel Migrating Our iOS Build System from Buck to Bazel

How Airbnb achieved a smooth and transparent migration from Buck to Bazel on iOS, with minimal interference to developer workflowsBy: Qing Yang, Andy BartholomewAt Airbnb, we are committed to providing the best experience for our engineers. To offer a cohesive and efficient build experience across all platforms, we’ve decided to adopt Bazel as our build system. Bazel is a robust build system widely utilized in the industry. In alignment with Airbnb’s tech initiatives, both our backend and frontend teams initiated the migration process to Bazel. In the first Bazel post, we start with our iOS development migrating from Buck to Bazel.We’ll describe the migration approach which involved two mai…

8 months, 1 week назад @ medium.com
Airbnb at KDD 2023
Airbnb at KDD 2023 Airbnb at KDD 2023

KDD (Knowledge and Data Mining) is a flagship conference in data science research. Hosted annually by a special interest group of the Association for Computing Machinery (ACM), it’s where you’ll learn about some of the most ground-breaking developments in data mining, knowledge discovery, and large-scale data analytics.Airbnb had a significant presence at KDD 2023 with two papers accepted into the main conference proceedings and 11 talks and presentations. In this blog post, we’ll summarize our team’s contributions and share highlights from an exciting week of workshops, panel discussions, and more.Deep learning and search rankingEven though search ranking is a problem that researchers have…

9 months, 2 weeks назад @ medium.com
Netflix Engineering Netflix Engineering
последний пост 2 weeks, 4 days назад
Introducing Netflix’s Key-Value Data Abstraction Layer
Introducing Netflix’s Key-Value Data Abstraction Layer Introducing Netflix’s Key-Value Data Abstraction Layer

Vidhya Arvind, Rajasekhar Ummadisetty, Joey Lynch, Vinay ChellaIntroductionAt Netflix our ability to deliver seamless, high-quality, streaming experiences to millions of users hinges on robust, global backend infrastructure. Central to this infrastructure is our use of multiple online distributed databases such as Apache Cassandra, a NoSQL database known for its high availability and scalability. Cassandra serves as the backbone for a diverse array of use cases within Netflix, ranging from user sign-ups and storing viewing histories to supporting real-time analytics and live streaming.Over time as new key-value databases were introduced and service owners launched new use cases, we encounte…

2 weeks, 4 days назад @ netflixtechblog.com
Pushy to the Limit: Evolving Netflix’s WebSocket proxy for the future
Pushy to the Limit: Evolving Netflix’s WebSocket proxy for the future Pushy to the Limit: Evolving Netflix’s WebSocket proxy for the future

By Karthik Yagna, Baskar Odayarkoil, and Alex EllisPushy is Netflix’s WebSocket server that maintains persistent WebSocket connections with devices running the Netflix application. This allows data to be sent to the device from backend services on demand, without the need for continually polling requests from the device. Over the last few years, Pushy has seen tremendous growth, evolving from its role as a best-effort message delivery service to be an integral part of the Netflix ecosystem. This post describes how we’ve grown and scaled Pushy to meet its new and future needs, as it handles hundreds of millions of concurrent WebSocket connections, delivers hundreds of thousands of messages p…

3 weeks, 5 days назад @ netflixtechblog.com
Noisy Neighbor Detection with eBPF
Noisy Neighbor Detection with eBPF Noisy Neighbor Detection with eBPF

By Jose Fernandez, Sebastien Dabdoub, Jason Kock, Artem TkachukThe Compute and Performance Engineering teams at Netflix regularly investigate performance issues in our multi-tenant environment. The first step is determining whether the problem originates from the application or the underlying infrastructure. One issue that often complicates this process is the "noisy neighbor" problem. On Titus, our multi-tenant compute platform, a "noisy neighbor" refers to a container or system service that heavily utilizes the server's resources, causing performance degradation in adjacent containers. We usually focus on CPU utilization because it is our workload's most frequent source of noisy neighbor …

3 weeks, 5 days назад @ netflixtechblog.com
Recommending for Long-Term Member Satisfaction at Netflix
Recommending for Long-Term Member Satisfaction at Netflix Recommending for Long-Term Member Satisfaction at Netflix

By Jiangwei Pan, Gary Tang, Henry Wang, and Justin BasilicoIntroductionOur mission at Netflix is to entertain the world. Our personalization algorithms play a crucial role in delivering on this mission for all members by recommending the right shows, movies, and games at the right time. This goal extends beyond immediate engagement; we aim to create an experience that brings lasting enjoyment to our members. Traditional recommender systems often optimize for short-term metrics like clicks or engagement, which may not fully capture long-term satisfaction. We strive to recommend content that not only engages members in the moment but also enhances their long-term satisfaction, which increases…

1 month, 1 week назад @ netflixtechblog.com
Improve Your Next Experiment by Learning Better Proxy Metrics From Past Experiments
Improve Your Next Experiment by Learning Better Proxy Metrics From Past Experiments Improve Your Next Experiment by Learning Better Proxy Metrics From Past Experiments

By Aurélien Bibaut, Winston Chou, Simon Ejdemyr, and Nathan KallusWe are excited to share our work on how to learn good proxy metrics from historical experiments at KDD 2024. This work addresses a fundamental question for technology companies and academic researchers alike: how do we establish that a treatment that improves short-term (statistically sensitive) outcomes also improves long-term (statistically insensitive) outcomes? Or, faced with multiple short-term outcomes, how do we optimally trade them off for long-term benefit?For example, in an A/B test, you may observe that a product change improves the click-through rate. However, the test does not provide enough signal to measure a c…

1 month, 1 week назад @ netflixtechblog.com
Investigation of a Cross-regional Network Performance Issue
Investigation of a Cross-regional Network Performance Issue Investigation of a Cross-regional Network Performance Issue

Hechao Li, Roger CruzCloud Networking TopologyNetflix operates a highly efficient cloud computing infrastructure that supports a wide array of applications essential for our SVOD (Subscription Video on Demand), live streaming and gaming services. Utilizing Amazon AWS, our infrastructure is hosted across multiple geographic regions worldwide. This global distribution allows our applications to deliver content more effectively by serving traffic closer to our customers. Like any distributed system, our applications occasionally require data synchronization between regions to maintain seamless service delivery.The following diagram shows a simplified cloud network topology for cross-region tra…

2 months назад @ netflixtechblog.com
Java 21 Virtual Threads - Dude, Where’s My Lock?
Java 21 Virtual Threads - Dude, Where’s My Lock? Java 21 Virtual Threads - Dude, Where’s My Lock?

Getting real with virtual threadsBy Vadim Filanovsky, Mike Huang, Danny Thomas and Martin ChalupaIntroNetflix has an extensive history of using Java as our primary programming language across our vast fleet of microservices. As we pick up newer versions of Java, our JVM Ecosystem team seeks out new language features that can improve the ergonomics and performance of our systems. In a recent article, we detailed how our workloads benefited from switching to generational ZGC as our default garbage collector when we migrated to Java 21. Virtual threads is another feature we are excited to adopt as part of this migration.For those new to virtual threads, they are described as “lightweight threa…

2 months, 1 week назад @ netflixtechblog.com
Maestro: Netflix’s Workflow Orchestrator
Maestro: Netflix’s Workflow Orchestrator Maestro: Netflix’s Workflow Orchestrator

By Jun He, Natallia Dzenisenka, Praneeth Yenugutala, Yingyi Zhang, and Anjali NorwoodTL;DRWe are thrilled to announce that the Maestro source code is now open to the public! Please visit the Maestro GitHub repository to get started. If you find it useful, please give us a star.What is MaestroMaestro is a general-purpose, horizontally scalable workflow orchestrator designed to manage large-scale workflows such as data pipelines and machine learning model training pipelines. It oversees the entire lifecycle of a workflow, from start to finish, including retries, queuing, task distribution to compute engines, etc.. Users can package their business logic in various formats such as Docker images…

2 months, 2 weeks назад @ netflixtechblog.com
Enhancing Netflix Reliability with Service-Level Prioritized Load Shedding
Enhancing Netflix Reliability with Service-Level Prioritized Load Shedding Enhancing Netflix Reliability with Service-Level Prioritized Load Shedding

Applying Quality of Service techniques at the application levelAnirudh Mendiratta, Kevin Wang, Joey Lynch, Javier Fernandez-Ivern, Benjamin FedorkaIntroductionIn November 2020, we introduced the concept of prioritized load shedding at the API gateway level in our blog post, Keeping Netflix Reliable Using Prioritized Load Shedding. Today, we’re excited to dive deeper into how we’ve extended this strategy to the individual service level, focusing on the video streaming control plane and data plane, to further enhance user experience and system resilience.The Evolution of Load Shedding at NetflixAt Netflix, ensuring a seamless viewing experience for millions of users simultaneously is paramoun…

3 months, 1 week назад @ netflixtechblog.com
A Recap of the Data Engineering Open Forum at Netflix
A Recap of the Data Engineering Open Forum at Netflix A Recap of the Data Engineering Open Forum at Netflix

A summary of sessions at the first Data Engineering Open Forum at Netflix on April 18th, 2024The Data Engineering Open Forum at Netflix on April 18th, 2024.At Netflix, we aspire to entertain the world, and our data engineering teams play a crucial role in this mission by enabling data-driven decision-making at scale. Netflix is not the only place where data engineers are solving challenging problems with creative solutions. On April 18th, 2024, we hosted the inaugural Data Engineering Open Forum at our Los Gatos office, bringing together data engineers from various industries to share, learn, and connect.At the conference, our speakers share their unique perspectives on modern developments,…

3 months, 2 weeks назад @ netflixtechblog.com
Video annotator: building video classifiers using vision-language models and active learning
Video annotator: building video classifiers using vision-language models and active learning Video annotator: building video classifiers using vision-language models and active learning

Video annotator: a framework for efficiently building video classifiers using vision-language models and active learningAmir Ziai, Aneesh Vartakavi, Kelli Griggs, Eugene Lok, Yvonne Jukes, Alex Alonso, Vi Iyengar, Anna Pulidohttps://medium.com/media/02a5bbf97c619182adba24b45e42edcb/hrefIntroductionProblemHigh-quality and consistent annotations are fundamental to the successful development of robust machine learning models. Conventional techniques for training machine learning classifiers are resource intensive. They involve a cycle where domain experts annotate a dataset, which is then transferred to data scientists to train models, review outcomes, and make changes. This labeling process t…

3 months, 2 weeks назад @ netflixtechblog.com
Round 2: A Survey of Causal Inference Applications at Netflix
Round 2: A Survey of Causal Inference Applications at Netflix Round 2: A Survey of Causal Inference Applications at Netflix

At Netflix, we want to ensure that every current and future member finds content that thrills them today and excites them to come back for more. Causal inference is an essential part of the value that Data Science and Engineering adds towards this mission. We rely heavily on both experimentation and quasi-experimentation to help our teams make the best decisions for growing member joy.Building off of our last successful Causal Inference and Experimentation Summit, we held another week-long internal conference this year to learn from our stunning colleagues. We brought together speakers from across the business to learn about methodological developments and innovative applications.We covered…

4 months назад @ netflixtechblog.com
The Making of VES: the Cosmos Microservice for Netflix Video Encoding
The Making of VES: the Cosmos Microservice for Netflix Video Encoding The Making of VES: the Cosmos Microservice for Netflix Video Encoding

Liwei Guo, Vinicius Carvalho, Anush Moorthy, Aditya Mavlankar, Lishan ZhuThis is the second post in a multi-part series from Netflix. See here for Part 1 which provides an overview of our efforts in rebuilding the Netflix video processing pipeline with microservices. This blog dives into the details of building our Video Encoding Service (VES), and shares our learnings.Cosmos is the next generation media computing platform at Netflix. Combining microservice architecture with asynchronous workflows and serverless functions, Cosmos aims to modernize Netflix’s media processing pipelines with improved flexibility, efficiency, and developer productivity. In the past few years, the video team wit…

6 months назад @ netflixtechblog.com
Reverse Searching Netflix’s Federated Graph
Reverse Searching Netflix’s Federated Graph Reverse Searching Netflix’s Federated Graph

By Ricky Gardiner, Alex Hutter, and Katie LefevreSince our previous posts regarding Content Engineering’s role in enabling search functionality within Netflix’s federated graph (the first post, where we identify the issue and elaborate on the indexing architecture, and the second post, where we detail how we facilitate querying) there have been significant developments. We’ve opened up Studio Search beyond Content Engineering to the entirety of the Engineering organization at Netflix and renamed it Graph Search. There are over 100 applications integrated with Graph Search and nearly 50 indices we support. We continue to add functionality to the service. As promised in the previous post, we’…

6 months назад @ netflixtechblog.com
Sequential Testing Keeps the World Streaming Netflix Part 2: Counting Processes
Sequential Testing Keeps the World Streaming Netflix Part 2: Counting Processes Sequential Testing Keeps the World Streaming Netflix Part 2: Counting Processes

Michael Lindon, Chris Sanden, Vache Shirikian, Yanjun Liu, Minal Mishra, Martin TingleyHave you ever encountered a bug while streaming Netflix? Did your title stop unexpectedly, or not start at all? In the first installment of this blog series on sequential testing, we described our canary testing methodology for continuous metrics such as play-delay. One of our readers commentedWhat if the new release is not related to a new play/streaming feature? For example, what if the new release includes modified login functionality? Will you still monitor the “play-delay” metric?Netflix monitors a large suite of metrics, many of which can be classified as counts. These include metrics such as the nu…

6 months, 3 weeks назад @ netflixtechblog.com
Pinterest Engineering
последний пост 4 days, 22 hours назад
Structured DataStore (SDS): Multi-model Data Management With a Unified Serving Stack
Structured DataStore (SDS): Multi-model Data Management With a Unified Serving Stack Structured DataStore (SDS): Multi-model Data Management With a Unified Serving Stack

Authors: Alberto Ordonez Pereira; Senior Staff Software Engineer | Lianghong Xu; Senior Manager, Engineering |Part 1: HBase Deprecation at Pinterest & Part 2: TiDB Adoption at PinterestIn this blog, we will show how the team transitioned from supporting multiple query serving stacks to provide different data models to a brand new data serving platform with a unified multi model query serving stack called Structured DataStore (SDS).As a data serving platform, SDS is responsible for various aspects of the data lifecycle management, including:Online Query Serving, which offers multiple data models such as graph, table, document, etc. at 1–2 digit ms p99 latency and with high availability (99.9…

4 days, 22 hours назад @ medium.com
Feature Caching for Recommender Systems w/ Cachelib
Feature Caching for Recommender Systems w/ Cachelib Feature Caching for Recommender Systems w/ Cachelib

Li Tang; Sr. Software Engineer | Saurabh Vishwas Joshi; Sr. Staff Software Engineer | Zhiyuan Zhang; Sr. Manager, Engineering |At Pinterest, we operate a large-scale online machine learning inference system, where feature caching plays a critical role to achieve optimal efficiency. In this blog post, we will discuss our decision to adopt Cachelib project by Meta Open Source (“Cachelib”) and how we have built a high-throughput, flexible feature cache by leveraging and expanding upon the capabilities of Cachelib.BackgroundRecommender systems are fundamental to Pinterest’s mission to inspire users to create a life they love. At a high level, our recommender models predict user and content inte…

2 weeks, 3 days назад @ medium.com
Pinterest Tiered Storage for Apache Kafka®️: A Broker-Decoupled Approach
Pinterest Tiered Storage for Apache Kafka®️: A Broker-Decoupled Approach Pinterest Tiered Storage for Apache Kafka®️: A Broker-Decoupled Approach

Jeff Xiang | Senior Software Engineer, Logging Platform; Vahid Hashemian | Staff Software Engineer, Logging PlatformWhen it comes to PubSub solutions, few have achieved higher degrees of ubiquity, community support, and adoption than Apache Kafka®️, which has become the industry standard for data transportation at large scale. At Pinterest, petabytes of data are transported through PubSub pipelines every day, powering foundational systems such as AI training, content safety and relevance, and real-time ad bidding, bringing inspiration to hundreds of millions of Pinners worldwide. Given the continuous growth in PubSub-dependent use cases and organic data volume, it became paramount that PubS…

2 weeks, 5 days назад @ medium.com
Meet Pinterest’s Internship Mentors of the Year
Meet Pinterest’s Internship Mentors of the Year Meet Pinterest’s Internship Mentors of the Year

Pinterest Engineering TeamPinterest employees in San Francisco office standing together with the Mentor of the Year 2024 AwardOur internship program truly inspires employees to bring their best self to work every day. Our program has mentors across the business that help interns develop their skills to create a career they love. Our Mentors of the Year have shown exceptional dedication in guiding and supporting our interns on their professional journeys. Discover how being a mentor has helped them advance their own careers at Pinterest and find out what inspires them.In this blog, we’re joined by Irena Lee, Software Engineer I; Ricardo Casilimas, Software Engineer II; Lily Liu, Sr. Data Sci…

3 weeks, 5 days назад @ medium.com
Improving Efficiency Of Goku Time Series Database at Pinterest (Part — 3)
Improving Efficiency Of Goku Time Series Database at Pinterest (Part — 3) Improving Efficiency Of Goku Time Series Database at Pinterest (Part — 3)

Improving Efficiency Of Goku Time Series Database at Pinterest (Part — 3)Monil Mukesh Sanghavi; Software Engineer, Real Time Analytics Team | Ming-May Hu; Software Engineer, Real Time Analytics Team | Xiao Li; Software Engineer, Real Time Analytics Team | Zhenxiao Luo; Software Engineer, Real Time Analytics Team | Kapil Bajaj; Manager, Real Time Analytics Team |At Pinterest, one of the pillars of the observability stack provides internal engineering teams (our users) the opportunity to monitor their services using metrics data and set up alerting on it. Goku is our in-house time series database that provides cost efficient and low latency storage for metrics data. Underneath, Goku is not a …

3 weeks, 6 days назад @ medium.com
Improving ABR Video Performance at Pinterest
Improving ABR Video Performance at Pinterest Improving ABR Video Performance at Pinterest

Zhihao Hong; Staff Software Engineer | Emma Adams; Sr. Software Engineer | Jeremy Muhia; Sr. Software Engineer | Blossom Yin; Software Engineer II | Melissa He; Sr. Software Engineer |SummaryVideo content has emerged as a favored format for people to discover inspirations at Pinterest. In this blog post, we will outline recent enhancements made to the Adaptive Bitrate (ABR) video performance, as well as its positive impact on user engagement.Terms:ABR: An acronym for Adaptive Bitrate (ABR) Streaming protocol.HLS: HTTP live streaming (HLS) is an ABR protocol developed by Apple and supported both live and on-demand streaming.DASH: Dynamic Adaptive Streaming over HTTP (DASH) is another ABR pro…

1 month, 1 week назад @ medium.com
Redesigning Pinterest’s Ad Serving Systems with Zero Downtime (part 2)
Redesigning Pinterest’s Ad Serving Systems with Zero Downtime (part 2) Redesigning Pinterest’s Ad Serving Systems with Zero Downtime (part 2)

Ning Zhang; Sr. Technical Program Manager | Ang Xu; Principal Machine Learning Engineer | Claire Liu; Staff Software Engineer | Haichen Liu; Staff Software Engineer | Yiran Zhao; Staff Software Engineer | Haoyu He; Sr. Software Engineer | Sergei Radutnuy; Sr. Machine Learning Engineer | Di An; Sr. Software Engineer | Danyal Raza; Sr. Software Engineer | Xuan Chen; Sr. Software Engineer | Chi Zhang; Sr. Software Engineer | Adam Winstanley; Staff Software Engineer | Johnny Xie; Sr. Staff Software Engineer | Simeng Qu; Software Engineer II | Nishant Roy; Manager II, Engineering | Chengcheng Hu; Sr. Director, Engineering |In the first part of the post, we introduced the motivations on why we de…

1 month, 2 weeks назад @ medium.com
Onboarding as a Web Engineer @ Pinterest
Onboarding as a Web Engineer @ Pinterest Onboarding as a Web Engineer @ Pinterest

Jordan Cutler; Sr. Sofware Engineer | Rebecca Yi; Sr. Sofware Engineer |Hi there! 👋 We’re Rebecca and Jordan, two Senior engineers who onboarded to Pinterest the same day as Web Engineers. We’ll share with you what onboarding at Pinterest is like, from the learning-packed first week to launching our first project two months later. Plus, we promise to include a healthy dose of our favorite Pinterest puns 😃Week 1Rebecca here 👋My first week at Pinterest was a rich blend of conventional onboarding information with a nice touch of social aspects to help me feel onboarded.We kicked off orientation with “Pintro” sessions (we warned you that there would be puns!), which informed us not only about w…

1 month, 3 weeks назад @ medium.com
NEP: Notification System and Relevance
NEP: Notification System and Relevance NEP: Notification System and Relevance

Lin Zhu; Staff Machine Learning Engineer | Eric Tam; Staff Software Engineer | Yuxiang Wang; Staff Machine Learning Engineer |Importance of NotificationsNotifications (e.g. email, push, in-app messages) play an important role in driving user retention. In our previous system, which operated on a daily budget allocation model, the system relied on predicting daily budgets for individual users on a daily basis, constraining the flexibility and responsiveness required for dynamic user engagement and content changes. Notification Event Processor (NEP) is a next generation notification system developed at Pinterest, offering the flexibility to process and make decisions to send notifications in …

1 month, 4 weeks назад @ medium.com
Delivering Faster Analytics at Pinterest
Delivering Faster Analytics at Pinterest Delivering Faster Analytics at Pinterest

Kapil Bajaj; Sr. Manager, Engineering | Zhenxiao Luo; Sr. Staff Software Engineer | Yi Yang; Sr. Software Engineer | Saahil Barai; Software Engineer I | Ming-May Hu; Software Engineer I |IntroductionPinterest is a visual discovery platform where people can find ideas like recipes, home and style inspiration, and much more. The platform offers its partners shopping capabilities as well as a significant advertising opportunity with 500+ million monthly active users. Advertisers can purchase ads directly on Pinterest or through partnerships with advertising agencies. Due to our huge scale, advertisers get an opportunity to learn about their Pins and their interaction with Pinterest users from …

2 months, 1 week назад @ medium.com
TiDB Adoption at Pinterest
TiDB Adoption at Pinterest TiDB Adoption at Pinterest

Authors: Alberto Ordonez Pereira; Senior Staff Software Engineer | Lianghong Xu; Senior Manager, Engineering |This is the second part of a three series and focuses on how we selected the new storage technology that ended up replacing HBase.MotivationHBase has been a foundational storage system at Pinterest since its inception in 2013, when it was deployed at a massive scale and supported numerous use cases. However, it started to show significant inadequacy to keep up with the evolving business needs due to various reasons mentioned in the previous blog. As a result, two years ago we started searching for a next-generation storage technology that could replace HBase for many years to come a…

2 months, 2 weeks назад @ medium.com
Understanding Develocity Build Data with Honeycomb
Understanding Develocity Build Data with Honeycomb Understanding Develocity Build Data with Honeycomb

David Chang; Staff Software Engineer |Develocity, formerly known as Gradle Enterprise, is a powerful tool that speeds up local and CI build time, helps troubleshoot your builds, and analyzes your data. At Pinterest, we have a dedicated team, Mobile Builds, and we ensure that developers can build fast and often. This enables developers to be more productive by getting faster feedback on their code. We’ve been using the Develocity API to send data to Honeycomb for about a year. Honeycomb helps engineering teams deeply understand their own production systems through observability. If you’re already a Develocity customer, you might be wondering why you might want to build additional tooling to …

2 months, 3 weeks назад @ medium.com
Building Pinterest Canvas, a text-to-image foundation model
Building Pinterest Canvas, a text-to-image foundation model Building Pinterest Canvas, a text-to-image foundation model

Eric Tzeng; ML Research Scientist, ATG | Raymond Shiau; ML Research Scientist, ATG |In this engineering note, we wanted to share some of our latest progress on Pinterest Canvas, a text-to-image foundation model for enhancing existing images and products on the platform. Building image foundation models has been a core part of Pinterest’s ML strategy for the past decade, but these have been focused on representation learning tasks (e.g. our Unified Visual Embedding v2, v3, etc.). More recently, we have begun to explore the application of generative models, specifically those that can be conditioned on existing Pinterest images, to create new backgrounds for products.Pinterest Canvas is built…

2 months, 4 weeks назад @ medium.com
Web Performance Regression Detection (Part 3 of 3)
Web Performance Regression Detection (Part 3 of 3) Web Performance Regression Detection (Part 3 of 3)

Michelle Vu; Web Performance Engineer |In this article we will focus on the systems we have in place to proactively detect and prevent regressions from being fully released in production.A/B Experiment ChecksCollecting performance metrics internally allows us to pipe these logs into our internal experiments framework. Pinterest has an excellent culture of wrapping any major user-impacting changes in an A/B experiment, which enables us to detect the performance impact of these changes. Below, we will describe how experiment regressions are detected and handled.Graded Experiment RegressionsExperiments that show a significant performance regression for five or more days of the last seven days …

3 months, 1 week назад @ medium.com
Ray Infrastructure at Pinterest
Ray Infrastructure at Pinterest Ray Infrastructure at Pinterest

Chia-Wei Chen; Sr. Software Engineer | Raymond Lee; Sr. Software Engineer | Alex Wang; Software Engineer I | Saurabh Vishwas Joshi; Sr. Staff Software Engineer | Karthik Anantha Padmanabhan; Sr. Manager, Engineering | Se Won Jang; Sr. Manager, Engineering |The Journey of our Ray InfrastructureIn the Part 1 of our blog series, we discussed the reason why we were motivated to invest in Ray to solve critical business problems. In this blogpost, we will go one step further to describe what it takes to integrate Ray into a web-scale company like Pinterest, where we have various unique constraints and challenges to embrace new technologies. This is a more comprehensive version of Ray Infrastructu…

3 months, 3 weeks назад @ medium.com
Facebook
последний пост 4 days, 1 hour назад
How open source AI can improve population estimates, sustainable energy, and the delivery of climate change interventions
How open source AI can improve population estimates, sustainable energy, and the delivery of climate change interventions

Data for Good at Meta is open-sourcing the data used to train our AI-powered population maps. We’re hoping that researchers and other organizations around the world will be able to leverage these tools to assist with a wide range of projects including those on climate adaptation, public health and disaster response. The dataset and code [...]

Read More...

The post How open source AI can improve population estimates, sustainable energy, and the delivery of climate change interventions appeared first on Engineering at Meta.

4 days, 1 hour назад @ engineering.fb.com
Simulator-based reinforcement learning for data center cooling optimization
Simulator-based reinforcement learning for data center cooling optimization

We’re sharing more about the role that reinforcement learning plays in helping us optimize our data centers’ environmental controls. Our reinforcement learning-based approach has helped us reduce energy consumption and water usage across various weather conditions. Meta is revamping its new data center design to optimize for artificial intelligence and the same methodology will be [...]

Read More...

The post Simulator-based reinforcement learning for data center cooling optimization appeared first on Engineering at Meta.

3 weeks, 6 days назад @ engineering.fb.com
How PyTorch powers AI training and inference
How PyTorch powers AI training and inference

How PyTorch powers AI training and inference Learn about new PyTorch advancements for LLMs and how PyTorch is enhancing every aspect of the LLM lifecycle. In this talk from AI Infra @ Scale 2024, software engineers Wanchao Liang and Evan Smothers are joined by Meta research scientist Kimish Patel to discuss our newest features and [...]

Read More...

The post How PyTorch powers AI training and inference appeared first on Engineering at Meta.

1 month, 2 weeks назад @ engineering.fb.com
Inside the hardware and co-design of MTIA
Inside the hardware and co-design of MTIA

In this talk from AI Infra @ Scale 2024, Joel Colburn, a software engineer at Meta, technical lead Junqiang Lan, and software engineer Jack Montgomery discuss the second generation of MTIA, Meta’s in-house training and inference accelerator. They cover the co-design process behind building the second generation of Meta’s first-ever custom silicon for AI workloads, [...]

Read More...

The post Inside the hardware and co-design of MTIA appeared first on Engineering at Meta.

1 month, 2 weeks назад @ engineering.fb.com
Bringing Llama 3 to life
Bringing Llama 3 to life

Llama 3 is Meta’s most capable openly-available LLM to date and the recently-released Llama 3.1 will enable new workflows, such as synthetic data generation and model distillation with unmatched flexibility, control, and state-of-the-art capabilities that rival the best closed source models. At AI Infra @ Scale 2024, Meta engineers discussed every step of how we [...]

Read More...

The post Bringing Llama 3 to life appeared first on Engineering at Meta.

1 month, 2 weeks назад @ engineering.fb.com
Aparna Ramani discusses the future of AI infrastructure
Aparna Ramani discusses the future of AI infrastructure

Delivering new AI technologies at scale also means rethinking every layer of our infrastructure – from silicon and software systems and even our data center designs. For the second year in a row, Meta’s engineering and infrastructure teams returned for the AI Infra @ Scale conference, where they discussed the challenges of scaling up an [...]

Read More...

The post Aparna Ramani discusses the future of AI infrastructure appeared first on Engineering at Meta.

1 month, 2 weeks назад @ engineering.fb.com
How Meta animates AI-generated images at scale
How Meta animates AI-generated images at scale

We launched Meta AI with the goal of giving people new ways to be more productive and unlock their creativity with generative AI (GenAI). But GenAI also comes with challenges of scale. As we deploy new GenAI technologies at Meta, we also focus on delivering these services to people as quickly and efficiently as possible. [...]

Read More...

The post How Meta animates AI-generated images at scale appeared first on Engineering at Meta.

1 month, 3 weeks назад @ engineering.fb.com
A RoCE network for distributed AI training at scale
A RoCE network for distributed AI training at scale

AI networks play an important role in interconnecting tens of thousands of GPUs together, forming the foundational infrastructure for training, enabling large models with hundreds of billions of parameters such as LLAMA 3.1 405B. This week at ACM SIGCOMM 2024 in Sydney, Australia, we are sharing details on the network we have built at Meta [...]

Read More...

The post A RoCE network for distributed AI training at scale appeared first on Engineering at Meta.

2 months назад @ engineering.fb.com
Meet Caddy – Meta’s next-gen mixed reality CAD software
Meet Caddy – Meta’s next-gen mixed reality CAD software

What happens when a team of mechanical engineers get tired of looking at flat images of 3D models over Zoom? Meet the team behind Caddy, a new CAD app for mixed reality. They join Pascal Hartig (@passy) on the Meta Tech Podcast to talk about teaching themselves to code, disrupting the CAD software space, and [...]

Read More...

The post Meet Caddy – Meta’s next-gen mixed reality CAD software appeared first on Engineering at Meta.

2 months, 3 weeks назад @ engineering.fb.com
AI Lab: The secrets to keeping machine learning engineers moving fast
AI Lab: The secrets to keeping machine learning engineers moving fast

The key to developer velocity across AI lies in minimizing time to first batch (TTFB) for machine learning (ML) engineers. AI Lab is a pre-production framework used internally at Meta. It allows us to continuously A/B test common ML workflows – enabling proactive improvements and automatically preventing regressions on TTFB. AI Lab prevents TTFB regressions [...]

Read More...

The post AI Lab: The secrets to keeping machine learning engineers moving fast appeared first on Engineering at Meta.

2 months, 3 weeks назад @ engineering.fb.com
Taming the tail utilization of ads inference at Meta scale
Taming the tail utilization of ads inference at Meta scale

Tail utilization is a significant system issue and a major factor in overload-related failures and low compute utilization. The tail utilization optimizations at Meta have had a profound impact on model serving capacity footprint and reliability. Failure rates, which are mostly timeout errors, were reduced by two-thirds; the compute footprint delivered 35% more work for [...]

Read More...

The post Taming the tail utilization of ads inference at Meta scale appeared first on Engineering at Meta.

2 months, 4 weeks назад @ engineering.fb.com
Meta’s approach to machine learning prediction robustness
Meta’s approach to machine learning prediction robustness

Meta’s advertising business leverages large-scale machine learning (ML) recommendation models that power millions of ads recommendations per second across Meta’s family of apps. Maintaining reliability of these ML systems helps ensure the highest level of service and uninterrupted benefit delivery to our users and advertisers. To minimize disruptions and ensure our ML systems are intrinsically [...]

Read More...

The post Meta’s approach to machine learning prediction robustness appeared first on Engineering at Meta.

2 months, 4 weeks назад @ engineering.fb.com
Leveraging AI for efficient incident response
Leveraging AI for efficient incident response

We’re sharing how we streamline system reliability investigations using a new AI-assisted root cause analysis system. The system uses a combination of heuristic-based retrieval and large language model-based ranking to speed up root cause identification during investigations. Our testing has shown this new system achieves 42% accuracy in identifying root causes for investigations at their [...]

Read More...

The post Leveraging AI for efficient incident response appeared first on Engineering at Meta.

3 months, 2 weeks назад @ engineering.fb.com
Maintaining large-scale AI capacity at Meta
Maintaining large-scale AI capacity at Meta

Meta is currently operating many data centers with GPU training clusters across the world. Our data centers are the backbone of our operations, meticulously designed to support the scaling demands of compute and storage. A year ago, however, as the industry reached a critical inflection point due to the rise of artificial intelligence (AI), we [...]

Read More...

The post Maintaining large-scale AI capacity at Meta appeared first on Engineering at Meta.

3 months, 3 weeks назад @ engineering.fb.com
Building new custom silicon for Meta’s AI workloads
Building new custom silicon for Meta’s AI workloads

[...]

Read More...

The post Building new custom silicon for Meta’s AI workloads appeared first on Engineering at Meta.

5 months, 4 weeks назад @ engineering.fb.com
Uber Engineering
последний пост None
Spotify Engineering Spotify Engineering
последний пост 1 month назад
Are You a Dalia? How We Created Data Science Personas for Spotify’s Analytics Platform
Are You a Dalia? How We Created Data Science Personas for Spotify’s Analytics Platform

On Spotify’s Analytics Platform, we’re dedicated to building products that empower data practitioners to discover, analyze, and share insights — [...]

The post Are You a Dalia? How We Created Data Science Personas for Spotify’s Analytics Platform appeared first on Spotify Engineering.

1 month назад @ engineering.atspotify.com
Unlocking Insights with High-Quality Dashboards at Scale
Unlocking Insights with High-Quality Dashboards at Scale

We have a lot of dashboards at Spotify. Our Insight teams and analysts from across the company are constantly whipping [...]

The post Unlocking Insights with High-Quality Dashboards at Scale appeared first on Spotify Engineering.

1 month, 1 week назад @ engineering.atspotify.com
Technical Decision-Making in a Fragmented Space: Spotify In-Car Case Study
Technical Decision-Making in a Fragmented Space: Spotify In-Car Case Study

Car rides have become connected and interactive these days with drivers jamming to music or catching up on podcasts or [...]

The post Technical Decision-Making in a Fragmented Space: Spotify In-Car Case Study appeared first on Spotify Engineering.

2 months, 4 weeks назад @ engineering.atspotify.com
Data Platform Explained Part II
Data Platform Explained Part II

Check out Data Platform Explained Part I, where we started sharing the journey of building a data platform, its building [...]

The post Data Platform Explained Part II appeared first on Spotify Engineering.

4 months, 1 week назад @ engineering.atspotify.com
Fixed-Power Designs: It’s Not IF You Peek, It’s WHAT You Peek at
Fixed-Power Designs: It’s Not IF You Peek, It’s WHAT You Peek at

TL;DR Sometimes we cannot estimate the required sample size needed to power an experiment before starting it. To alleviate this [...]

The post Fixed-Power Designs: It’s Not IF You Peek, It’s WHAT You Peek at appeared first on Spotify Engineering.

4 months, 3 weeks назад @ engineering.atspotify.com
Supercharged Developer Portals
Supercharged Developer Portals

Today, we announced Spotify’s latest products and services for companies adopting Backstage, the open source framework for building IDPs.

The post Supercharged Developer Portals appeared first on Spotify Engineering.

5 months, 1 week назад @ engineering.atspotify.com
Data Platform Explained
Data Platform Explained

As engineers working at Spotify, we frequently find ourselves explaining our robust data platform to fellow professionals who are contemplating [...]

The post Data Platform Explained appeared first on Spotify Engineering.

6 months, 1 week назад @ engineering.atspotify.com
Risk-Aware Product Decisions in A/B Tests with Multiple Metrics
Risk-Aware Product Decisions in A/B Tests with Multiple Metrics

TL;DR We summarize the findings in our recent paper, Schultzberg, Ankargren, and Frånberg (2024), where we explain how Spotify’s decision-making [...]

The post Risk-Aware Product Decisions in A/B Tests with Multiple Metrics appeared first on Spotify Engineering.

7 months назад @ engineering.atspotify.com
Applying the Facade Pattern on Spotify for Artists
Applying the Facade Pattern on Spotify for Artists

Introduction At Spotify, we’re dedicated to delivering a unified experience to our customers — which can sometimes be at odds [...]

The post Applying the Facade Pattern on Spotify for Artists appeared first on Spotify Engineering.

8 months назад @ engineering.atspotify.com
Exploring the Animation Landscape of 2023 Wrapped
Exploring the Animation Landscape of 2023 Wrapped

Each year, we aim to elevate the Spotify Wrapped experience for our users, crafting captivating data stories and pushing the [...]

The post Exploring the Animation Landscape of 2023 Wrapped appeared first on Spotify Engineering.

8 months, 2 weeks назад @ engineering.atspotify.com
Q&A with the Maintainers of the Spotify FOSS Fund
Q&A with the Maintainers of the Spotify FOSS Fund

TL;DR Let’s cap the year by putting a spotlight on some of the valuable work people outside of Spotify are [...]

The post Q&A with the Maintainers of the Spotify FOSS Fund appeared first on Spotify Engineering.

9 months, 1 week назад @ engineering.atspotify.com
Dmitry Anoshin recommends
Snowflake
последний пост 2 months назад
Accelerate Time-Series Analytics with RANGE-Based Window Frames, now Generally Available
Accelerate Time-Series Analytics with RANGE-Based Window Frames, now Generally Available

Unlock powerful time-series analytics with Snowflake's enhanced RANGE-based window frame, now generally available. The post Accelerate Time-Series Analytics with RANGE-Based Window Frames, now Generally Available appeared first on Snowflake.

2 months назад @ snowflake.com
Continued Investments in Price Performance and Faster Top-K Queries
Continued Investments in Price Performance and Faster Top-K Queries

Our optimization delivers fast results, with some customer queries reaching 99.8%.

The post Continued Investments in Price Performance and Faster Top-K Queries appeared first on Snowflake.

2 months назад @ snowflake.com
Snowflake Startup Spotlight: BigGeo Puts Geospatial Intelligence on the Map
Snowflake Startup Spotlight: BigGeo Puts Geospatial Intelligence on the Map

Discover how BigGeo is making location-based data more accessible and actionable.

The post Snowflake Startup Spotlight: BigGeo Puts Geospatial Intelligence on the Map appeared first on Snowflake.

2 months назад @ snowflake.com
Securely Deploy Custom Apps and Models with Snowpark Container Services, Now Generally Available
Securely Deploy Custom Apps and Models with Snowpark Container Services, Now Generally Available

Learn what’s new, including security enhancements and cost reductions.

The post Securely Deploy Custom Apps and Models with Snowpark Container Services, Now Generally Available appeared first on Snowflake.

2 months, 1 week назад @ snowflake.com
Snowflake Invests in Contextual AI to Make It Easier for Enterprises to Deploy RAG Applications in the AI Data Cloud
Snowflake Invests in Contextual AI to Make It Easier for Enterprises to Deploy RAG Applications in the AI Data Cloud

Retrieval Augmented Generation (RAG) allows enterprises to ground responses from Large Language Models in their specific organization’s data. This helps ensure that AI-powered applications provide responses that are not only accurate, relevant, and consistent, but also aligned with business needs. At Snowflake, we make it simple for our customers to implement RAG, while also enabling […]

The post Snowflake Invests in Contextual AI to Make It Easier for Enterprises to Deploy RAG Applications in the AI Data Cloud appeared first on Snowflake.

2 months, 1 week назад @ snowflake.com
Accelerating Academic Medical Research with an AI-Driven Data Strategy
Accelerating Academic Medical Research with an AI-Driven Data Strategy

Learn about advancing medical research with a robust data strategy.

The post Accelerating Academic Medical Research with an AI-Driven Data Strategy appeared first on Snowflake.

2 months, 1 week назад @ snowflake.com
Polaris Catalog Is Now Open Source
Polaris Catalog Is Now Open Source

Available on GitHub, Polaris Catalog provides new levels of choice, flexibility and control over your data.

The post Polaris Catalog Is Now Open Source appeared first on Snowflake.

2 months, 1 week назад @ snowflake.com
Snowflake Advances Cybersecurity Excellence by Joining CISA Secure by Design Pledge
Snowflake Advances Cybersecurity Excellence by Joining CISA Secure by Design Pledge

Learn how we're empowering customers to protect their valuable data.

The post Snowflake Advances Cybersecurity Excellence by Joining CISA Secure by Design Pledge appeared first on Snowflake.

2 months, 1 week назад @ snowflake.com
Snowflake Cortex Search: State-of-the-Art Hybrid Search for RAG Applications
Snowflake Cortex Search: State-of-the-Art Hybrid Search for RAG Applications

Learn how Cortex Search provides hybrid search at enterprise scale

The post Snowflake Cortex Search: State-of-the-Art Hybrid Search for RAG Applications appeared first on Snowflake.

2 months, 2 weeks назад @ snowflake.com
How Snowflake Accelerates Business Growth for Providers of Data, Apps and AI Products
How Snowflake Accelerates Business Growth for Providers of Data, Apps and AI Products

Remove integration and procurement friction, improve time to value.

The post How Snowflake Accelerates Business Growth for Providers of Data, Apps and AI Products appeared first on Snowflake.

2 months, 2 weeks назад @ snowflake.com
Snowflake Cortex AI Launches Cortex Guard to Implement LLM Safeguards
Snowflake Cortex AI Launches Cortex Guard to Implement LLM Safeguards

Snowflake helps customers implement AI safety at scale with an easy, cost-effective LLM guardrails feature. The post Snowflake Cortex AI Launches Cortex Guard to Implement LLM Safeguards appeared first on Snowflake.

2 months, 2 weeks назад @ snowflake.com
Meta’s Llama 3.1 405B Now Available for Enterprise App Development in Snowflake Cortex AI
Meta’s Llama 3.1 405B Now Available for Enterprise App Development in Snowflake Cortex AI

Today, Snowflake is excited to announce that the Llama 3.1 collection of multilingual large language models (LLMs) are now available in Snowflake Cortex AI, providing enterprises with secure, serverless access to Meta’s most advanced open source model. Snowflake offers the largest context window of any vendor, at 128k, for the Llama 3.1 collection of models. […]

The post Meta’s Llama 3.1 405B Now Available for Enterprise App Development in Snowflake Cortex AI appeared first on Snowflake.

2 months, 2 weeks назад @ snowflake.com
Getting the Most From Your Modern Data Platform: A Three-Phase Approach
Getting the Most From Your Modern Data Platform: A Three-Phase Approach

Migrate, modernize and monetize to unlock innovation on Snowflake’s platform.

The post Getting the Most From Your Modern Data Platform: A Three-Phase Approach appeared first on Snowflake.

2 months, 2 weeks назад @ snowflake.com
From Potential Disaster To Driver of Change… Data Execs Share Their Journeys To Effective AI
From Potential Disaster To Driver of Change… Data Execs Share Their Journeys To Effective AI

A potential recipe for disaster proved to be the focus of every data executive’s agenda over the last year. A year ago many data leaders were caught off-guard. Employees embraced new gen AI tools with fervor, driving interest in all AI initiatives. Generative AI had penetrated the enterprise, with gen AI positioned in the Peak […]

The post From Potential Disaster To Driver of Change… Data Execs Share Their Journeys To Effective AI appeared first on Snowflake.

2 months, 3 weeks назад @ snowflake.com
Snowflake’s Summer of Sports and AI
Snowflake’s Summer of Sports and AI

Join us on July 25, 2024 for a Sports and AI virtual event.

The post Snowflake’s Summer of Sports and AI appeared first on Snowflake.

2 months, 3 weeks назад @ snowflake.com
Smart Data
последний пост 4 days, 19 hours назад
Nursing Schools Are Forced to Adapt to Advances in AI
Nursing Schools Are Forced to Adapt to Advances in AI

AI technology has had a huge impact on nursing education, which has evolved significantly in recent years.

4 days, 19 hours назад @ smartdatacollective.com
ChatGPT and Other AI Startups Drive Software Engineer Demand
ChatGPT and Other AI Startups Drive Software Engineer Demand

AI technology has created many promising new opportunities for software engineers in recent years.

4 days, 19 hours назад @ smartdatacollective.com
More Organizations Use AI to Manage Documents
More Organizations Use AI to Manage Documents

AI technology is making it easier than ever to manage documents.

1 week назад @ smartdatacollective.com
5 Ways AI-Driven Video Chats Are More Collaborative
5 Ways AI-Driven Video Chats Are More Collaborative

AI technology has led to major breakthroughs in video technology, which can make video chats great for team collaboration.

1 week, 4 days назад @ smartdatacollective.com
Leveraging Commerce Media & Data Analytics in Ecommerce
Leveraging Commerce Media & Data Analytics in Ecommerce

Ecommerce businesses should use data analytics to bolster their commerce media strategy.

2 weeks, 3 days назад @ smartdatacollective.com
Leveraging Big Data and Analytics to Enhance Patient-Centered Care
Leveraging Big Data and Analytics to Enhance Patient-Centered Care

Big data technology has significantly changed the healthcare sector over the last few years and will continue to impact it for years to come.

3 weeks, 3 days назад @ smartdatacollective.com
Generative AI: Unlocking New Revenue Streams for Your Business
Generative AI: Unlocking New Revenue Streams for Your Business

Transform your business with generative AI! Learn how to unlock new revenue streams and drive growth through innovative solutions.

1 month назад @ smartdatacollective.com
Data Analytics Plays a Key Role in Improving Instagram Visibility
Data Analytics Plays a Key Role in Improving Instagram Visibility

You will need to understand the importance of social media analytics if you are trying to boost your Instagram visibility.

1 month, 1 week назад @ smartdatacollective.com
What AI Startups Need to Know About DEI
What AI Startups Need to Know About DEI

DEI can be great for AI startups that are trying to improve inclusivity and get quality employees.

2 months назад @ smartdatacollective.com
6 Ways that AI Improves the Quality of Retail Apps
6 Ways that AI Improves the Quality of Retail Apps

AI technology provides a number of amazing benefits for retailers trying to reach customers more effectively through mobile apps.

2 months назад @ smartdatacollective.com
How Internet Providers Are Using AI and Data Analytics To Help Customers
How Internet Providers Are Using AI and Data Analytics To Help Customers

Explore how AI and data analytics are revolutionizing internet providers' approaches to customer satisfaction and service efficiency!

2 months назад @ smartdatacollective.com
Best Cybersecurity Practices for Companies Using AI
Best Cybersecurity Practices for Companies Using AI

There are a lot of cybersecurity risks for companies that rely on AI, but they can be rectified if you take the right steps.

2 months, 1 week назад @ smartdatacollective.com
33 Top Artificial Intelligence And Machine Learning Companies in 2024
33 Top Artificial Intelligence And Machine Learning Companies in 2024

These top artificial intelligence and machine learning companies are providing great options for anyone interested in AI or machine learning.

2 months, 2 weeks назад @ smartdatacollective.com
Modern Nursing Education Emphasizes Data Analytics
Modern Nursing Education Emphasizes Data Analytics

Data analytics technology offers a number of benefits in healthcare, so nursing programs are teaching their students about it.

2 months, 2 weeks назад @ smartdatacollective.com
Construction Companies Turn to AI for Scalability
Construction Companies Turn to AI for Scalability

More construction companies are using AI technology to improve their business models.

2 months, 3 weeks назад @ smartdatacollective.com
Knoldus
последний пост None
We Cloud Data We Cloud Data
последний пост 2 months, 3 weeks назад
How to Become a Data Engineer (2024 Guide)
How to Become a Data Engineer (2024 Guide)

Data engineering is a hot topic in recent years, mainly due to the rise of artificial intelligence, big data, and data science. Every enterprise is transforming in the direction of digitalization. For enterprises, data is full of infinite value. For all the data requirements of organizations, the first thing they need to do is to […]

The post How to Become a Data Engineer (2024 Guide) appeared first on WeCloudData.

2 months, 3 weeks назад @ weclouddata.com
Real Estate Price Prediction: Harnessing Machine Learning
Real Estate Price Prediction: Harnessing Machine Learning

Discover how machine learning revolutionizes real estate price prediction, overcoming biases and empowering data-driven decisions. Harness AI for accurate market analysis and secure your dream home investment.

The post Real Estate Price Prediction: Harnessing Machine Learning appeared first on WeCloudData.

2 months, 3 weeks назад @ weclouddata.com
Using Machine Learning to Distinguish Between Spam and Legitimate Emails
Using Machine Learning to Distinguish Between Spam and Legitimate Emails

Machine learning has revolutionized email spam detection, offering sophisticated solutions to combat the continuous influx of unwanted emails. Deep learning techniques, with their advanced pattern recognition capabilities, have significantly improved spam detection accuracy, ensuring that users receive only relevant and valuable information in their inboxes. Explore how machine learning is enhancing email security and reducing spam effectively.

The post Using Machine Learning to Distinguish Between Spam and Legitimate Emails appeared first on WeCloudData.

6 months, 2 weeks назад @ weclouddata.com
Navigating your way: Traffic Prediction with Machine Learning
Navigating your way: Traffic Prediction with Machine Learning

Machine learning is revolutionizing traffic prediction, enhancing route planning and reducing congestion in urban commuting. Explore advanced algorithms like Uni-LSTM and BiLSTM for accurate forecasts, along with Google Maps' integration of deep learning for improved ETA accuracy. Discover the practical utility of machine learning in everyday life.

The post Navigating your way: Traffic Prediction with Machine Learning appeared first on WeCloudData.

6 months, 2 weeks назад @ weclouddata.com
Analyzing Remote Work Opportunities in Today’s North America Job Market
Analyzing Remote Work Opportunities in Today’s North America Job Market

Introduction In recent years, the landscape of employment has undergone a profound transformation, with remote work emerging as a viable and increasingly popular option for professionals across various industries. The advent of advanced technologies and shifting attitudes towards work-life balance have paved the way for remote work to become a mainstream phenomenon. In this blog, […]

The post Analyzing Remote Work Opportunities in Today’s North America Job Market appeared first on WeCloudData.

6 months, 3 weeks назад @ weclouddata.com
Energy Management: Solar Power Generation Forecasting
Energy Management: Solar Power Generation Forecasting

Explore how energy management is evolving with advanced solar power generation forecasting, enabling more efficient use of renewable resources and optimizing grid performance. Dive into the future of sustainable energy solutions.

The post Energy Management: Solar Power Generation Forecasting appeared first on WeCloudData.

7 months назад @ weclouddata.com
Smart Agriculture: How Machine Learning is Helping Farming
Smart Agriculture: How Machine Learning is Helping Farming

Discover how machine learning is revolutionizing smart agriculture, enhancing crop yields, optimizing resources, and making farming more sustainable. Learn about the latest technologies and trends in agriculture.

The post Smart Agriculture: How Machine Learning is Helping Farming appeared first on WeCloudData.

7 months назад @ weclouddata.com
More Accurate Predictions for Your Day: Machine Learning in Weather Forecasting
More Accurate Predictions for Your Day: Machine Learning in Weather Forecasting

Weather forecasting is a complex science that involves analyzing vast amounts of data from various sources, including satellites, weather stations, and radar systems.

The post More Accurate Predictions for Your Day: Machine Learning in Weather Forecasting appeared first on WeCloudData.

7 months, 1 week назад @ weclouddata.com
Data Science Job Market Trends: Navigating the Shifts from 2023 to 2024
Data Science Job Market Trends: Navigating the Shifts from 2023 to 2024

For those of you who read my last blog, I looked at how the data science job market had performed in 2023 – at least since August when the data collection began. The end of the calendar year provided a fitting moment to take a step back and assess what had transpired in the ensuing […]

The post Data Science Job Market Trends: Navigating the Shifts from 2023 to 2024 appeared first on WeCloudData.

7 months, 2 weeks назад @ weclouddata.com
Machine Learning in Entertainment: Customizing Movie Recommendations
Machine Learning in Entertainment: Customizing Movie Recommendations

Explore the transformative impact of machine learning on the entertainment industry, from personalized content recommendations to AI-driven music and film production, enhancing viewer experiences.

The post Machine Learning in Entertainment: Customizing Movie Recommendations appeared first on WeCloudData.

7 months, 3 weeks назад @ weclouddata.com
Online Shopping Redefined: Predicting Shopper Behavior with Machine Learning
Online Shopping Redefined: Predicting Shopper Behavior with Machine Learning

Online Shopping Redefined: Predicting Shopper Behavior with Machine Learning

The post Online Shopping Redefined: Predicting Shopper Behavior with Machine Learning appeared first on WeCloudData.

8 months назад @ weclouddata.com
Enhancing Everyday Healthcare with Machine Learning: Early Disease Detection
Enhancing Everyday Healthcare with Machine Learning: Early Disease Detection

Revolutionize healthcare with machine learning for early disease detection. Explore cutting-edge solutions improving everyday health, ensuring timely interventions for a healthier future. #HealthTech #MachineLearning #DiseaseDetection

The post Enhancing Everyday Healthcare with Machine Learning: Early Disease Detection appeared first on WeCloudData.

8 months, 1 week назад @ weclouddata.com
Navigating the Path to Become a Machine Learning Engineer in 2024: A Step-by-Step Guide
Navigating the Path to Become a Machine Learning Engineer in 2024: A Step-by-Step Guide

Machine Learning Engineer: Navigate the evolving landscape of ML in 2024 with insights from WeCloudData's workshop. Explore the structured ML pipeline, data engineering essentials, model engineering nuances, ML Ops challenges, and diverse tools. Build robust ML systems and embark on a successful journey into the dynamic world of ML engineering.

The post Navigating the Path to Become a Machine Learning Engineer in 2024: A Step-by-Step Guide appeared first on WeCloudData.

8 months, 2 weeks назад @ weclouddata.com
Different between Data Science, Engineering, and Analysis
Different between Data Science, Engineering, and Analysis

"Discover Data Science, Engineering, and Analysis with WeCloudData. Uncover unique roles, skills, and tools in specialized bootcamps. Propel your career in decoding insights, building data infrastructure, and actionable intelligence

The post Different between Data Science, Engineering, and Analysis appeared first on WeCloudData.

8 months, 2 weeks назад @ weclouddata.com
Crafting an Effective Resume with OpenAI
Crafting an Effective Resume with OpenAI

Data Job: Elevate your career with a compelling resume tailored for success. Uncover the transformative power of OpenAI API in crafting dynamic content that captivates hiring managers. Explore the art of showcasing data skills, quantifying achievements, and aligning with job descriptions.

The post Crafting an Effective Resume with OpenAI appeared first on WeCloudData.

8 months, 2 weeks назад @ weclouddata.com
Learn Data Engineering
последний пост None
Jesse Anderson Jesse Anderson
последний пост 2 weeks, 5 days назад
Data Teams Survey 2020-2024 Analysis
Data Teams Survey 2020-2024 Analysis 2 weeks, 5 days назад @ jesse-anderson.com
Data Teams Survey 2024 Results
Data Teams Survey 2024 Results 1 month, 1 week назад @ jesse-anderson.com
Unapologetically Technical Episode 13 – Jeff Chou
Unapologetically Technical Episode 13 – Jeff Chou

https://youtu.be/rjpXnaabaqo Unapologetically Technical’s newest episode is now live! In this episode of Unapologetically Technical, I interview Jeff Chou, CEO and co-founder of Sync Computing. Jeff, who holds a PhD from UC Berkeley and a postdoc from MIT, shares his unique journey from academia to startup life, and how his experience with simulations shaped the vision […]

The post Unapologetically Technical Episode 13 – Jeff Chou first appeared on Jesse Anderson.

1 month, 3 weeks назад @ jesse-anderson.com
Unpacking the Latest Streaming Announcements: A Comprehensive Analysis
Unpacking the Latest Streaming Announcements: A Comprehensive Analysis

https://youtu.be/NaOwMim240Y This video covers the latest announcements from StreamNative, Confluent, and WarpStream. We discuss communication protocols, how they’re used, and what they mean for you. We also discuss the various systems using Kafka’s protocol. Finally, we discuss the announcements about writing to Iceberg and DeltaLake directly from the broker and what that means for costs […]

The post Unpacking the Latest Streaming Announcements: A Comprehensive Analysis first appeared on Jesse Anderson.

3 months, 3 weeks назад @ jesse-anderson.com
Unapologetically Technical Episode 12 – AJ Hunyady
Unapologetically Technical Episode 12 – AJ Hunyady

https://youtu.be/3L-QvVca-As Unapologetically Technical’s newest episode is now live! In this episode of Unapologetically Technical, I interview AJ Hunyady, the founder and CEO of InfinyOn. We talked about his early experiences with networking systems, such as creating firewalls, email, and web servers, and how those prepared him for data work. We chatted about the various implications […]

The post Unapologetically Technical Episode 12 – AJ Hunyady first appeared on Jesse Anderson.

4 months назад @ jesse-anderson.com
Unapologetically Technical Episode 11 – Hubert Dulay
Unapologetically Technical Episode 11 – Hubert Dulay

https://www.youtube.com/watch?v=8NHGyesU2Kw In this episode of Unapologetically Technical, I interview Hubert Dulay, the author of Streaming Data Mesh and Developer Advocate at StarTree. We talked about his early experience with web backends like CORBA and SOAP and how those prepared him for data work. He shares his advice for those with web development skills to transition […]

The post Unapologetically Technical Episode 11 – Hubert Dulay first appeared on Jesse Anderson.

4 months, 3 weeks назад @ jesse-anderson.com
Unapologetically Technical Episode 10 – Michael Drogalis
Unapologetically Technical Episode 10 – Michael Drogalis 6 months назад @ jesse-anderson.com
Why Most Data Projects Fail & How to Avoid It at GOTO 2023
Why Most Data Projects Fail & How to Avoid It at GOTO 2023

I had the pleasure of being one of the speakers at GOTO Amsterdam 2023 where I talked about Why Most Data Projects Fail & How to Avoid It and I can’t wait to share this talk with you! Abstract: Unfortunately, the majority of data projects fail. Yet, they fail for the same reasons. Most […]

7 months, 1 week назад @ jesse-anderson.com
Unapologetically Technical Episode 9 – Gunnar Morling
Unapologetically Technical Episode 9 – Gunnar Morling

https://youtu.be/ayAGiPd2zq4?si=o0SHbsbT0-Pmdkqd This week on Unapologetically Technical, I had the wonderful pleasure of interviewing Gunnar Morling, the creator of the Billion Row Challenge and Senior Staff Software Engineer at Decodable. In this episode, we talk about why it is so important to stay in a position long enough to gain experience and see the success or failure of decisions. […]

7 months, 2 weeks назад @ jesse-anderson.com
Unapologetically Technical Episode 8 – Tom Scott
Unapologetically Technical Episode 8 – Tom Scott

https://youtu.be/ZJF7zLvH6-w?si=YHBTQ7B7XB2zwkrq It has been quite a while, but we’re finally back to a new episode this year! In this episode of Unapologetically Technical, I interview Tom Scott, the Founder and CEO of Streambased. Join us as we talk about distributed systems and how he created distributed or what we call the Monte Carlo simulations. We […]

8 months назад @ jesse-anderson.com
The State of Data Engineering at Data Day Texas 2024
The State of Data Engineering at Data Day Texas 2024

https://youtu.be/0WAfevbtdeY?si=YbN7DhD3ApqoNhf3 The premier of my latest talk covering The State of Data Engineering. I go through the history of the industry to see where we’re heading. This starts with data warehousing and goes into data science. I finish off by showing how data engineering can avoid the same fate as data warehousing and data science. […]

8 months, 1 week назад @ jesse-anderson.com
Data Quest
последний пост None
Infrastructure
AWS
последний пост 2 часа назад
Extract insights in a 30TB time series workload with Amazon OpenSearch Serverless
Extract insights in a 30TB time series workload with Amazon OpenSearch Serverless

We recently announced a new capacity level of 30TB for time series data per account per AWS Region. The OpenSearch Serverless compute capacity for data ingestion and search/query is measured in OpenSearch Compute Units (OCUs), which are shared among various collections with the same AWS Key Management Service (AWS KMS) key. This post discusses how you can analyze 30TB time series datasets with OpenSearch Serverless.

2 часа назад @ aws.amazon.com
How to identify inactive users of Amazon Q Developer
How to identify inactive users of Amazon Q Developer

Generative AI is leading to many new features and capabilities. As a result, your employees may not know about all the new tools you are deploying. I was recently working with a customer that had deployed Amazon Q Developer for all their software developers. However, many developers didn’t know they had access to the productivity […]

2 days, 19 hours назад @ aws.amazon.com
Use the latest AWS innovations with the new AWS Cloud Control provider for Pulumi
Use the latest AWS innovations with the new AWS Cloud Control provider for Pulumi

We are pleased to announce the general availability of the AWS Cloud Control provider for Pulumi, an modern infrastructure management platform, which allows our customers to adopt AWS innovations faster than ever before. AWS has consistently expanded its range of services to support any cloud workload, supporting over 200 fully featured services and introducing more […]

2 days, 20 hours назад @ aws.amazon.com
Create your fashion assistant application using Amazon Titan models and Amazon Bedrock Agents
Create your fashion assistant application using Amazon Titan models and Amazon Bedrock Agents

In this post, we implement a fashion assistant agent using Amazon Bedrock Agents and the Amazon Titan family models. The fashion assistant provides a personalized, multimodal conversational experience.

2 days, 21 hours назад @ aws.amazon.com
Analyze Amazon RDS for Oracle database object dependencies
Analyze Amazon RDS for Oracle database object dependencies

In this post, we show you an analysis tool which serves as a starting point to your database analysis journey by highlighting specific interdependencies between database objects: object dependencies, object constraints, and trigger references. Through a combination of SQL queries on the source Oracle database dictionary and Excel filters, the solution in this post can capture interdependent database objects for a target schema and generate a visual dependency diagram.

3 days назад @ aws.amazon.com
How Aviva built a scalable, secure, and reliable MLOps platform using Amazon SageMaker
How Aviva built a scalable, secure, and reliable MLOps platform using Amazon SageMaker

In this post, we describe how Aviva built a fully serverless MLOps platform based on the AWS Enterprise MLOps Framework and Amazon SageMaker to integrate DevOps best practices into the ML lifecycle. This solution establishes MLOps practices to standardize model development, streamline ML model deployment, and provide consistent monitoring.

3 days, 22 hours назад @ aws.amazon.com
Visier’s data science team boosts their model output 10 times by migrating to Amazon SageMaker
Visier’s data science team boosts their model output 10 times by migrating to Amazon SageMaker

In this post, we learn how Visier was able to boost their model output by 10 times, accelerate innovation cycles, and unlock new opportunities using Amazon SageMaker.

3 days, 23 hours назад @ aws.amazon.com
Implement model-independent safety measures with Amazon Bedrock Guardrails
Implement model-independent safety measures with Amazon Bedrock Guardrails

In this post, we discuss how you can use the ApplyGuardrail API in common generative AI architectures such as third-party or self-hosted large language models (LLMs), or in a self-managed Retrieval Augmented Generation (RAG) architecture.

3 days, 23 hours назад @ aws.amazon.com
Build a dynamic rules engine with Amazon Managed Service for Apache Flink
Build a dynamic rules engine with Amazon Managed Service for Apache Flink

This post demonstrates how to implement a dynamic rules engine using Amazon Managed Service for Apache Flink. Our implementation provides the ability to create dynamic rules that can be created and updated without the need to change or redeploy the underlying code or implementation of the rules engine itself. We discuss the architecture, the key services of the implementation, some implementation details that you can use to build your own rules engine, and an AWS Cloud Development Kit (AWS CDK) project to deploy this in your own account.

3 days, 23 hours назад @ aws.amazon.com
Accelerate application upgrades with Amazon Q Developer agent for code transformation
Accelerate application upgrades with Amazon Q Developer agent for code transformation

In this blog, we will explore how Amazon Q Developer Agent for code transformation accelerates Java application upgrades. We will examine the benefits of this Generative AI-powered agent and outline strategies to achieve maximal acceleration, drawing from real-world success stories and best practices. Benefits of using Amazon Q Developer to upgrade your applications Amazon Q […]

4 days, 3 hours назад @ aws.amazon.com
How Schneider Electric uses Amazon Bedrock to identify high-potential business opportunities
How Schneider Electric uses Amazon Bedrock to identify high-potential business opportunities

In this post, we show how the team at Schneider collaborated with the AWS Generative AI Innovation Center (GenAIIC) to build a generative AI solution on Amazon Bedrock to solve this problem. The solution processes and evaluates each requests for proposal (RFP) and then routes high-value RFPs to the microgrid subject matter expert (SME) for approval and recommendation.

4 days, 20 hours назад @ aws.amazon.com
Achieve operational excellence with well-architected generative AI solutions using Amazon Bedrock
Achieve operational excellence with well-architected generative AI solutions using Amazon Bedrock

In this post, we discuss scaling up generative AI for different lines of businesses (LOBs) and address the challenges that come around legal, compliance, operational complexities, data privacy and security.

4 days, 21 hours назад @ aws.amazon.com
Elevate workforce productivity through seamless personalization in Amazon Q Business
Elevate workforce productivity through seamless personalization in Amazon Q Business

In this post, we explore how Amazon Q Business uses personalization to improve the relevance of responses and how you can align your use cases and end-user data to take full advantage of this capability

4 days, 21 hours назад @ aws.amazon.com
Best practices for building robust generative AI applications with Amazon Bedrock Agents – Part 1
Best practices for building robust generative AI applications with Amazon Bedrock Agents – Part 1

In this post, we show you how to create accurate and reliable agents. Agents helps you accelerate generative AI application development by orchestrating multistep tasks. Agents use the reasoning capability of foundation models (FMs) to break down user-requested tasks into multiple steps.

4 days, 22 hours назад @ aws.amazon.com
Deprecation of Lake Formation’s Governed Tables Feature
Deprecation of Lake Formation’s Governed Tables Feature

After careful consideration, we have made the decision to end support for Governed Tables, effective December 31, 2024, to focus on open source transactional table formats such as Apache Iceberg, Apache Hudi, and Linux Foundation Delta Lake. This decision stems from customer preference for these open source solutions, which offer ACID-compliant transactions, compaction, time travel, and other features previously provided by Governed Tables.

5 days назад @ aws.amazon.com
AWS
последний пост 2 часа назад
An introduction to real estate tokenization on AWS
An introduction to real estate tokenization on AWS

Tokenization is the process of creating a digital asset on a blockchain that can represent various assets, including physical assets, digital assets, or even rights of ownership. In this post, we explore the advantages of tokenizing real estate assets using blockchain technology in order to streamline property ownership transfers. We discuss the benefits of tokenization […]

5 days, 1 hour назад @ aws.amazon.com
Vector search for Amazon DynamoDB with zero ETL for Amazon OpenSearch Service
Vector search for Amazon DynamoDB with zero ETL for Amazon OpenSearch Service

As organizations increasingly rely on Amazon DynamoDB for their operational database needs, the demand for advanced data insights and enhanced search capabilities continues to grow. Leveraging the power of Amazon OpenSearch Service and Amazon Bedrock, you can now unlock generative artificial intelligence (AI) capabilities for your DynamoDB data. In this post, we show how you […]

5 days, 1 hour назад @ aws.amazon.com
How BCM One migrated data from an unencrypted Amazon RDS for PostgreSQL database instance to a new encrypted instance using AWS DMS
How BCM One migrated data from an unencrypted Amazon RDS for PostgreSQL database instance to a new encrypted instance using AWS DMS

This post is co-authored with Kate Fike, Software Engineer at BCM One. BCM One is a leading global provider of NextGen Communications and Managed Services to IT leaders and channel resellers. They have multiple NextGen Communications brands, including Flowroute. Flowroute offers SIP trunking and a business messaging platform for mission-critical voice applications. In this post, […]

5 days, 18 hours назад @ aws.amazon.com
Accelerate Amazon Redshift Data Lake queries with AWS Glue Data Catalog Column Statistics
Accelerate Amazon Redshift Data Lake queries with AWS Glue Data Catalog Column Statistics

Over the last year, Amazon Redshift added several performance optimizations for data lake queries across multiple areas of query engine such as rewrite, planning, scan execution and consuming AWS Glue Data Catalog column statistics. In this post, we highlight the performance improvements we observed using industry standard TPC-DS benchmarks. Overall execution time of TPC-DS 3 TB benchmark improved by 3x. Some of the queries in our benchmark experienced up to 12x speed up.

5 days, 20 hours назад @ aws.amazon.com
AWS recognized as a first-time Leader in the 2024 Gartner Magic Quadrant for Data Science and Machine Learning Platforms
AWS recognized as a first-time Leader in the 2024 Gartner Magic Quadrant for Data Science and Machine Learning Platforms

AWS has been recognized as a Leader in the 2024 Gartner Magic Quadrant for Data Science and Machine Learning Platforms. The post highlights how AWS's continued innovations in services like Amazon Bedrock and Amazon SageMaker have enabled organizations to unlock the transformative potential of generative AI.

5 days, 22 hours назад @ aws.amazon.com
New – Size flexibility for Amazon ElastiCache reserved nodes
New – Size flexibility for Amazon ElastiCache reserved nodes

Amazon ElastiCache, a fully managed, Redis OSS- and Memcached-compatible caching service, now supports size flexibility for all its reserved node offerings, enabling your reserved node discount to apply across differently sized node types beyond the size specified in your reservation. With flexible reserved nodes, you no longer need to commit to a specific node size when purchasing a reservation, reducing the overhead of capacity planning and enabling you to right-size your clusters as your workloads and capacity needs change. In this post, we explain how you can use this new size flexibility feature to leverage discounted pricing on your ElastiCache clusters.

5 days, 23 hours назад @ aws.amazon.com
Build a serverless voice-based contextual chatbot for people with disabilities using Amazon Bedrock
Build a serverless voice-based contextual chatbot for people with disabilities using Amazon Bedrock

In this post, we presented how to create a fully serverless voice-based contextual chatbot using Amazon Bedrock with Anthropic Claude.

5 days, 23 hours назад @ aws.amazon.com
Maintain access and consider alternatives for Amazon Monitron
Maintain access and consider alternatives for Amazon Monitron

This post discusses how customers can maintain access to Amazon Monitron after it is closed to new customers and what some alternatives are to Amazon Monitron.

6 days, 1 hour назад @ aws.amazon.com
Configure cross-account Amazon S3 as a source or target for AWS DMS
Configure cross-account Amazon S3 as a source or target for AWS DMS

In this post, we delve into the intricacies of configuring AWS DMS replication instances to use an S3 bucket in a different account. We also explore the process of establishing a connection between AWS DMS Serverless and S3 buckets across distinct accounts.

6 days, 18 hours назад @ aws.amazon.com
Import a question answering fine-tuned model into Amazon Bedrock as a custom model
Import a question answering fine-tuned model into Amazon Bedrock as a custom model

In this post, we provide a step-by-step approach of fine-tuning a Mistral model using SageMaker and import it into Amazon Bedrock using the Custom Import Model feature.

6 days, 20 hours назад @ aws.amazon.com
Using task-specific models from AI21 Labs on AWS
Using task-specific models from AI21 Labs on AWS

In this blog post, we will show you how to leverage AI21 Labs’ Task-Specific Models (TSMs) on AWS to enhance your business operations. You will learn the steps to subscribe to AI21 Labs in the AWS Marketplace, set up a domain in Amazon SageMaker, and utilize AI21 TSMs via SageMaker JumpStart.

6 days, 20 hours назад @ aws.amazon.com
Exploring Telemetry Events in Amazon Q Developer
Exploring Telemetry Events in Amazon Q Developer

As organizations increasingly adopt Amazon Q Developer, understanding how developers use it is essential. Diving into specific telemetry events and user-level data clarifies how users interact with Amazon Q Developer, offering insights into feature usage and developer behaviors. This granular view, accessible through logs, is vital for identifying trends, optimizing performance, and enhancing the overall […]

6 days, 21 hours назад @ aws.amazon.com
Accenture Expedites Infrastructure Deployment with Amazon Q Developer
Accenture Expedites Infrastructure Deployment with Amazon Q Developer

By Priya Mallya, Managing Director – Accenture, Sandeep Singh Bhatia, Sr Manager – Accenture Vikas Purohit – Sr. Solutions Architect – AWS Being able to internally setup and manage flexible, efficient infrastructure can be painful. Manually authoring your Infrastructure as Code (IaC) templates is error prone and time consuming. However, adoption of generative […]

1 week назад @ aws.amazon.com
Securing Your Software Supply Chain with Amazon CodeCatalyst and Amazon Inspector
Securing Your Software Supply Chain with Amazon CodeCatalyst and Amazon Inspector

Amazon CodeCatalyst is a unified service that streamlines the entire software development lifecycle, empowering teams to build, deliver, and scale applications on AWS. DevSecOps is the practice of integrating security into all stages of software development. Rather than prioritizing features, it injects security into an earlier phase of the development process – baking it into […]

1 week, 2 days назад @ aws.amazon.com
Architecture to AWS CloudFormation code using Anthropic’s Claude 3 on Amazon Bedrock
Architecture to AWS CloudFormation code using Anthropic’s Claude 3 on Amazon Bedrock

In this post, we explore some ways you can use Anthropic’s Claude 3 Sonnet’s vision capabilities to accelerate the process of moving from architecture to the prototype stage of a solution.

1 week, 2 days назад @ aws.amazon.com
Astronomer Astronomer
последний пост None
DBT — Data Build Tool DBT — Data Build Tool
последний пост None
FiveTran FiveTran
последний пост None
DataBricks
последний пост None
Mix
/r/DataEngineering
последний пост 10 минут назад
Ressources to enter and master data engineering field
Ressources to enter and master data engineering field

Hello, I joined the second year of a data engineering master, and i found myself extremely lacking compared to classmates. The course was about hadoop but many concepts which the instructor briefly mentionned sounded as if they should have been known were unfamiliar to me. I wish to learn quickly in order to be able to fully follow and suceed in this master. Some of the concepts that are unfamiliar to me had to do with network, virtualisation, linux and shell commands. They seemed also well versed in technical capabilities of machines. I come from a business analytics masters so it was really a shock to start with these. Can you recommend ressources / courses / books i should study ? In wha…

10 минут назад @ reddit.com
Working as a Data engineer
Working as a Data engineer

People who work as a data engineer What are the daily tasks / functions that you do in your job how much do you code or do you use low code tools do you do guards as the backend developers? submitted by /u/eberrones_ [link] [comments]

12 минут назад @ reddit.com
Staying up-to-date with the industry
Staying up-to-date with the industry

Hi, how do you guys stay up-to-date with the industry? any suggestion on what to do, what to read, etc? submitted by /u/itsawesomedude [link] [comments]

1 час назад @ reddit.com
How are DevOps & DataOps teams uniting for more integrated & scalable data pipeline management? 🤔
How are DevOps & DataOps teams uniting for more integrated & scalable data pipeline management? 🤔

That’s the question on seemingly everyone’s minds in the data, database, and DevOps worlds – but what’s the real solution? Our expanding data journeys and growing AI/ML workloads are not only straining existing database change management workflows. They’re throwing wrenches into historically streamlined processes and ending up with downstream issues due to misaligned workflows, siloed data/database/DevOps teams, and a lack of standardization. Discover the path to integrated automation for scalable data management in an AI/ML world. Dan Zentgraf – Product Manager for Liquibase’s Database DevOps platform and organizer of DevOpsDays Austin for 11+ years, with 25+ years of DevOps experience – i…

1 час назад @ reddit.com
Databricks AI/BI dashboards — why?
Databricks AI/BI dashboards — why?

If you haven’t seen, Databricks have released an updated version of their AI/BI dashboards that can now be embedded in other platforms like Salesforce & viewed by business users. Struggling to see why or how this is better than a Looker dashboard embed, though? If anyone has a fresh perspective, keen to understand why. submitted by /u/Old-Practice-4271 [link] [comments]

1 час назад @ reddit.com
Best Features Selection Algorithms
Best Features Selection Algorithms

I've been tasked this week with conducting market research on the best feature selection algorithms. We are currently using BorutaSHAP, but I would like to explore whether there is a better algorithm available, as BorutaSHAP has been around for 4-5 years. submitted by /u/chrmux [link] [comments]

2 часа назад @ reddit.com
Offering Mentorship
Offering Mentorship

Hello everyone, I’m excited to announce that I’m starting a mentorship program in the field of Data Science! If you're looking to develop or enhance your skills in data analysis, machine learning, statistical modeling, or any aspect of the data science journey, I’d love to work with you. Whether you’re a beginner seeking guidance on how to break into the field, or you already have some experience and want to take your skills to the next level, I can offer personalized mentorship tailored to your goals. Feel free to reach out if you're interested or know someone who might benefit from this opportunity. Let’s grow together and unlock your potential in the exciting world of data science! Looki…

2 часа назад @ reddit.com
The Skill-Set to Master Your Data PM Role | A Practicing Data PM's Guide
The Skill-Set to Master Your Data PM Role | A Practicing Data PM's Guide The Skill-Set to Master Your Data PM Role | A Practicing Data PM's Guide

submitted by /u/growth_man [link] [comments]

3 часа назад @ reddit.com
Is there any benefit to building scrapers in a non-“data engineering” language?
Is there any benefit to building scrapers in a non-“data engineering” language?

Hi everyone, Been building a scraper to collect millions of historic responses from an old API in Python, but due to the so-so support for concurrency and the need to get dozens of endpoints, the whole thing is SO slow. I know Python is the best language for big data, transformation, interfacing with SQL/databases, etc (and it’s my favorite language to write in), but is there any merit to using another language to build the “E” phase of the ETL/ELT process in certain cases? Something like Go, Scala, etc? Or is this just an issue with my code and Python should be good in 99% of every case? submitted by /u/Butterhero_ [link] [comments]

4 часа назад @ reddit.com
NanoCube - Lightning fast OLAP-style point queries on Pandas DataFrames
NanoCube - Lightning fast OLAP-style point queries on Pandas DataFrames NanoCube - Lightning fast OLAP-style point queries on Pandas DataFrames

Maybe this is also of interest for the data engineering community. Enjoy... https://github.com/Zeutschler/nanocube https://www.reddit.com/r/Python/comments/1fxgkj6/python_is_awesome_speed_up_pandas_point_queries https://preview.redd.it/v1j5scjhvbtd1.png?width=640&format=png&auto=webp&s=9cdb96ea5797d9f17a2ba469c65584ddccdbcfb9 submitted by /u/Psychological-Motor6 [link] [comments]

4 часа назад @ reddit.com
Challenges Migrating MongoDB to SQL – Need Advice!
Challenges Migrating MongoDB to SQL – Need Advice!

I’ve been working on migrating data from MongoDB to SQL, but I’m running into some roadblocks with schema design and performance issues. Handling unstructured data and converting it to relational formats efficiently has been tricky. I came across a blog that covers some good methods for handling migrations like this, and it includes screenshots and limitations of each approach. It gave me a clearer picture of what to expect during the process. Has anyone here done a MongoDB to SQL migration? Any tips or tools you’d recommend? submitted by /u/AwarenessIcy5353 [link] [comments]

4 часа назад @ reddit.com
Discovered a Helpful Guide for Open Source Data Replication Tools – Sharing with the Community!
Discovered a Helpful Guide for Open Source Data Replication Tools – Sharing with the Community!

Hey all! Recently, I was tasked with finding a reliable open-source data replication tool for my company, and I know how overwhelming it can get with all the available options. After doing some research, I came across this article that really broke things down and helped me compare different tools side by side. The article covers some of the best open-source data replication tools, highlighting their features, pros, and cons, which made it easier for me to decide which one would fit my needs. If anyone here is looking for a similar solution or just wants to stay informed, I highly recommend checking it out. Here's the link: https://hevodata.com/learn/best-open-source-data-replication-tools/…

4 часа назад @ reddit.com
Migrating Data from Oracle to Snowflake? This Blog Made It Easy!
Migrating Data from Oracle to Snowflake? This Blog Made It Easy!

Hey folks, I’ve been working on migrating data from Oracle to Snowflake, and it’s been a bit of a nightmare trying to figure out the right ETL process. After searching around for guides and best practices, I came across this blog: Oracle to Snowflake ETL Guide This post really laid everything out in a clear, step-by-step manner, from setting up the ETL process to handling data transformations. If anyone is struggling with Oracle to Snowflake migrations, this guide is super helpful and saved me a ton of time. Highly recommend checking it out! Hope this helps someone else! submitted by /u/Far-Muffin-2672 [link] [comments]

4 часа назад @ reddit.com
Looking for Change Data Capture Tool? This blog helped me!
Looking for Change Data Capture Tool? This blog helped me!

Hi everyone, Recently, I came across some challenges with Change Data Capture (CDC) for a project that I am working on, and I needed to find a reliable CDC tool. I stumbled upon this blog that lists the seven best CDC tools, and it really helped me. The article does a very good job of breaking down the pros and cons of each tool so that it is much easier for me to pick the right one for what I need. If anyone else is looking for a CDC solution, I'd recommend checking this out. Blog: 7 Best CDC Tools for Change Data Capture in 2024 Hope it helps! submitted by /u/Spiritual-Path-7749 [link] [comments]

4 часа назад @ reddit.com
Choosing the right spark etl tools for my project??
Choosing the right spark etl tools for my project??

Hi guys, lately, I have been struggling to find the right Apache ETL tools—especially when it comes to figuring out the right one for my project. Like there are so many options, and it's hella confusing. After researching a lot online I came across an article and it helped me a lot!! So anyone else going through this, check out that article apache etl tools submitted by /u/akshita_0303 [link] [comments]

4 часа назад @ reddit.com
Towards Data Science
последний пост 6 часов назад
Discover AWS Lambda Basics to Run Powerful Serverless Functions
Discover AWS Lambda Basics to Run Powerful Serverless Functions Discover AWS Lambda Basics to Run Powerful Serverless Functions

Learn how I navigated setting up AWS Lambda for the first timeContinue reading on Towards Data Science »

6 часов назад @ towardsdatascience.com
Arrays — Data Structures & Algorithms for Data Scientists
Arrays — Data Structures & Algorithms for Data Scientists Arrays — Data Structures & Algorithms for Data Scientists

How dynamic and static arrays work under the hoodContinue reading on Towards Data Science »

9 часов назад @ towardsdatascience.com
Top 5 Geospatial Data APIs for Advanced Analysis
Top 5 Geospatial Data APIs for Advanced Analysis Top 5 Geospatial Data APIs for Advanced Analysis

Explore Overpass, Geoapify, Distancematrix.ai, Amadeus, and Mapillary for Advanced Mapping and Location DataContinue reading on Towards Data Science »

20 часов назад @ towardsdatascience.com
Getting Started with Powerful Data Tables in your Python Web Apps
Getting Started with Powerful Data Tables in your Python Web Apps Getting Started with Powerful Data Tables in your Python Web Apps

Getting Started with Powerful Data Tables in Your Python Web AppsUsing AG Grid to build a Finance app in pure Python with ReflexThese past few months, I’ve been exploring various data visualization and manipulation tools for web applications. As a Python developer, I often need to handle large datasets and display them in interactive, customizable tables. One question that consistently bothered me was: How can I build a powerful data grid UI that integrates seamlessly with my Python backend?There are countless options out there to build sophisticated data grids, but as a Python engineer, I have limited experience with JavaScript or any front-end framework. I was looking for a way to create …

1 day назад @ towardsdatascience.com
Exploring the AI Alignment Problem with GridWorlds
Exploring the AI Alignment Problem with GridWorlds Exploring the AI Alignment Problem with GridWorlds

Exploring the AI Alignment Problem with GridworldsIt’s difficult to build capable AI agents without encountering orthogonal goalsDesign of a “Gridworld” which is hard for an AI agent to learn without encouraging bad behaviour. Image by the Author.This is the essence of the AI alignment problem:An advanced AI model with powerful capabilities may have goals not aligned with our best interests. Such a model may pursue its own interests in a way that is detrimental to the thriving of human civilisation.The alignment problem is usually talked about in the context of existential risk. Many people are critical of this idea and think the probability of AI posing an existential risk to humanity is t…

1 day, 3 hours назад @ towardsdatascience.com
How to succeed with AI: Combining Kafka and AI Guardrails
How to succeed with AI: Combining Kafka and AI Guardrails How to succeed with AI: Combining Kafka and AI Guardrails

Why real-time data and governance are non-negotiable for AIPhoto by Sid Verma on UnsplashKafka is great. AI is great. What happens when we combine both? Continuity.—AI is changing many things about our efficiency and how we operate: sublime translations, customer interactions, code builder, driving our cars etc. Even if we love cutting-edge things, we’re all having a hard time keeping up with it.There is a massive problem we tend to forget: AI can easily go off the rails without the right guardrails. And when it does, it’s not just a technical glitch, it can lead to disastrous consequences for the business.From my own experience as a CTO, I’ve seen firsthand that real AI success doesn’t com…

1 day, 3 hours назад @ towardsdatascience.com
FormulaFeatures: A Tool to Generate Highly Predictive Features for Interpretable Models
FormulaFeatures: A Tool to Generate Highly Predictive Features for Interpretable Models FormulaFeatures: A Tool to Generate Highly Predictive Features for Interpretable Models

Create more interpretable models by using concise, highly predictive features, automatically engineered based on arithmetic combinations of numeric featuresIn this article, we examine a tool called FormulaFeatures. This is intended for use primarily with interpretable models, such as shallow decision trees, where having a small number of concise and highly predictive features can aid greatly with the interpretability and accuracy of the models.Interpretable Models in Machine LearningThis article continues my series on interpretable machine learning, following articles on ikNN, Additive Decision Trees, Genetic Decision Trees, and PRISM rules.As indicated in the previous articles (and covered…

1 day, 6 hours назад @ towardsdatascience.com
Efficient Testing of ETL Pipelines with Python
Efficient Testing of ETL Pipelines with Python Efficient Testing of ETL Pipelines with Python

How to Instantly Detect Data Quality Issues and Identify their CausesContinue reading on Towards Data Science »

1 day, 23 hours назад @ towardsdatascience.com
AI Agents: The Intersection of Tool Calling and Reasoning in Generative AI
AI Agents: The Intersection of Tool Calling and Reasoning in Generative AI AI Agents: The Intersection of Tool Calling and Reasoning in Generative AI

Unpacking problem solving and tool-driven decision making in AIImage by Author and GPT-4o depicting an AI agent at the intersection of reasoning and tool callingIntroduction: The Rise of Agentic AIToday, new libraries and low-code platforms are making it easier than ever to build AI agents, also referred to as digital workers. Tool calling is one of the primary abilities driving the “agentic” nature of Generative AI models by extending their ability beyond conversational tasks. By executing tools (functions), agents can take action on your behalf and solve complex, multi-step problems that require robust decision making and interacting with a variety of external data sources.This article fo…

2 days, 3 hours назад @ towardsdatascience.com
RAG 101: Chunking Strategies
RAG 101: Chunking Strategies RAG 101: Chunking Strategies

UNLOCK THE FULL POTENTIAL OF YOUR RAG WORKFLOWWhy, When, and How to chunk for enhanced RAGHow do we split the balls? (Generated using Cava)The maximum number of tokens that a Large Language Model can process in a single request is known as context length (or context window). The table below shows the context length for all versions of GPT-4 (as of Sep 2024). While context lengths have been increasing with every iteration and with every newer model, there remains a limit to the information we can provide the model. Moreover, there is an inverse correlation between the size of the input and the context relevancy of the responses generated by the LLM, short and focused inputs produce better re…

2 days, 6 hours назад @ towardsdatascience.com
The Hindsight Guide to Replatforming
The Hindsight Guide to Replatforming The Hindsight Guide to Replatforming

Dissecting the motivations, risks, and potential rewards of a software “heart transplant”Continue reading on Towards Data Science »

2 days, 12 hours назад @ towardsdatascience.com
Seamless Parsing of Nested JSON and Schema Evolution in DLT Without Restarting Pipelines
Seamless Parsing of Nested JSON and Schema Evolution in DLT Without Restarting Pipelines Seamless Parsing of Nested JSON and Schema Evolution in DLT Without Restarting Pipelines

Based on a customer case study, an advanced tutorial on using Delta Live Tables to process JSON schema evolution without the need to…Continue reading on Towards Data Science »

2 days, 12 hours назад @ towardsdatascience.com
5 Amazing Plugins for an Eye-Catching Visual Studio Code UI
5 Amazing Plugins for an Eye-Catching Visual Studio Code UI 5 Amazing Plugins for an Eye-Catching Visual Studio Code UI

Make your code shine by transforming the IDE into a stunning coding environmentIntroductionI have been using Visual Studio Code for several years, and I strongly consider it one of the best existing IDEs. While some may still prefer JetBrains IDEs, which are also very popular, Visual Studio Code has significant advantages: it is free, lightweight, and highly customizable.Visual Studio Code has a large community of developers and contributors. Given that, there exists a plethora of available free plugins. In my experience, plugins play an important role in terms of productivity by allowing engineers to use custom shortcuts, style the IDE, automatically save files, or even manage Git workflow…

2 days, 12 hours назад @ towardsdatascience.com
AI-Powered Corrosion Detection for Industrial Equipment: A Scalable Approach with AWS
AI-Powered Corrosion Detection for Industrial Equipment: A Scalable Approach with AWS AI-Powered Corrosion Detection for Industrial Equipment: A Scalable Approach with AWS

A Complete AWS ML Solution with SageMaker, Lambda, and API GatewayContinue reading on Towards Data Science »

2 days, 12 hours назад @ towardsdatascience.com
What to Expect in your First 90 Days as A Data Scientist
What to Expect in your First 90 Days as A Data Scientist What to Expect in your First 90 Days as A Data Scientist

Coming from a data analyst without a PhD or technical backgroundContinue reading on Towards Data Science »

2 days, 15 hours назад @ towardsdatascience.com
Monte Carlo Data Monte Carlo Data
последний пост 2 weeks, 6 days назад
4 Native Snowflake Data Quality Checks & Features You Should Know
4 Native Snowflake Data Quality Checks & Features You Should Know

The bad news? Data breaks. The good news? These 4 Snowflake data quality checks & features can help!

2 weeks, 6 days назад @ montecarlodata.com
What is a Data Mesh — and How Not to Mesh it Up
What is a Data Mesh — and How Not to Mesh it Up

A beginner’s guide to implementing the latest industry trend: a data mesh.

1 month назад @ montecarlodata.com
Most Data Quality Initiatives Fail Before They Start. Here’s Why.
Most Data Quality Initiatives Fail Before They Start. Here’s Why.

Show me your data quality scorecard and I’ll tell you whether you will be successful a year from now.

2 months, 2 weeks назад @ montecarlodata.com
Is Modern Data Warehouse Architecture Broken?
Is Modern Data Warehouse Architecture Broken?

The modern data warehouse architecture creates problems across many layers. Consider instead an immutable data warehouse for scale and usability.

2 months, 3 weeks назад @ montecarlodata.com
Mission Lane: Continuous Compliance Monitoring
Mission Lane: Continuous Compliance Monitoring

This article provides an overview of a newly developed approach to an always on compliance testing strategy at Mission Lane.

3 months назад @ montecarlodata.com
The Ultimate Guide to Snowflake Data Cloud Summit 2024
The Ultimate Guide to Snowflake Data Cloud Summit 2024

We've bookmarked the can't-miss moments of Snowflake Data Cloud Summit 2024.

4 months, 1 week назад @ montecarlodata.com
The Past, Present, and Future of Data Quality Management: Understanding Testing, Monitoring, and Data Observability in 2024
The Past, Present, and Future of Data Quality Management: Understanding Testing, Monitoring, and Data Observability in 2024

The data estate is evolving, and data quality management needs to evolve right along with it. Here are three common approaches and where the field is heading in the AI era.

4 months, 2 weeks назад @ montecarlodata.com
Data Quality Monitoring Explained – You’re Doing It Wrong
Data Quality Monitoring Explained – You’re Doing It Wrong

Data quality monitoring is one of the traditional methods of managing data quality—but is it enough? Find out what's missing, and how to do it better.

5 months, 2 weeks назад @ montecarlodata.com
12 Data Quality Metrics That ACTUALLY Matter
12 Data Quality Metrics That ACTUALLY Matter

How to improve your Data Quality Metrics and why it matters for your business.

5 months, 4 weeks назад @ montecarlodata.com
Monte Carlo Recognized as the #1 Data Observability Platform by G2 for Fourth Consecutive Quarter
Monte Carlo Recognized as the #1 Data Observability Platform by G2 for Fourth Consecutive Quarter

In Spring 2024, Monte Carlo earned both #1 in the Data Observability category and #1 in the Database Monitoring category, along with 14 additional awards.

6 months, 1 week назад @ montecarlodata.com
3 Simple Steps For Snowflake Cost Optimization Without Getting Too Crazy
3 Simple Steps For Snowflake Cost Optimization Without Getting Too Crazy

Snowflake cost optimization efforts need to be right sized. Read how to get the most savings without investing too much time and sweat.

6 months, 1 week назад @ montecarlodata.com
Monte Carlo Brings Data Observability to Microsoft Azure Synapse and Microsoft Fabric
Monte Carlo Brings Data Observability to Microsoft Azure Synapse and Microsoft Fabric

Leverage machine learning to proactively identify data and data pipeline anomalies so you can fix bad data before it impacts your analytics, AI and other data products.

6 months, 2 weeks назад @ montecarlodata.com
Scaling Data Quality for Innovation and Growth: Aircall’s Data Observability Journey
Scaling Data Quality for Innovation and Growth: Aircall’s Data Observability Journey

Learn how the Aircall team uses Monte Carlo's data observability solution to maintain their focus on self-serve infrastructure without compromising on data quality.

6 months, 3 weeks назад @ montecarlodata.com
Data Quality Testing: 7 Essential Tests
Data Quality Testing: 7 Essential Tests

Data reliability on your radar? Get started with these 7 must-have data quality tests, including null value, numeric distribution, and freshness tests.

6 months, 3 weeks назад @ montecarlodata.com
Is Prompt Engineering Overhyped? No—But Learn These 3 GenAI Skills Too
Is Prompt Engineering Overhyped? No—But Learn These 3 GenAI Skills Too

Understand what prompt engineering is and why it’s valuable—as well as a few other GenAI skills that should be at the top of your list.

7 months назад @ montecarlodata.com
DE Telegram
DataEng DataEng
последний пост 3 weeks, 3 days назад
Building and scaling Notion’s data lakeВ июле этого года в блоге Notion вышла подробная статья об их опыте построении data lake: https://www.notion.so/blog/building-and-scaling-notions-data-lake
Building and scaling Notion’s data lakeВ июле этого года в блоге Notion вышла подробная статья об их опыте построении data lake: https://www.notion.so/blog/building-and-scaling-notions-data-lake

Building and scaling Notion’s data lakeВ июле этого года в блоге Notion вышла подробная статья об их опыте построении data lake: https://www.notion.so/blog/building-and-scaling-notions-data-lake

3 weeks, 3 days назад @ t.me
В блоге базы данных ClickHouse вышел интересный пост, направленный на PostgreSQL юзеров, в нём показаны ключевые различия между моделированием данных в ClickHouse и PostgreSQL: https://clickhouse.com/blog/postgres-to-clickhouse-data-modeling-tips
В блоге базы данных ClickHouse вышел интересный пост, направленный на PostgreSQL юзеров, в нём показаны ключевые различия между моделированием данных в ClickHouse и PostgreSQL: https://clickhouse.com/blog/postgres-to-clickhouse-data-modeling-tips

В блоге базы данных ClickHouse вышел интересный пост, направленный на PostgreSQL юзеров, в нём показаны ключевые различия между моделированием данных в ClickHouse и PostgreSQL: https://clickhouse.com/blog/postgres-to-clickhouse-data-modeling-tips

3 weeks, 4 days назад @ t.me
Нашел в Ютубе двухчасовой доклад про индексы в PostgreSQL: Индексы в PostgreSQL. Как понять, что создавать
Нашел в Ютубе двухчасовой доклад про индексы в PostgreSQL: Индексы в PostgreSQL. Как понять, что создавать

Нашел в Ютубе двухчасовой доклад про индексы в PostgreSQL: Индексы в PostgreSQL. Как понять, что создавать

3 weeks, 5 days назад @ t.me
Нашел в сети пост мини-книгу от небезызвестной Chip Huyen: Building A Generative AI PlatformПожалуй, это одно из самых подробных руководств про построение Generative AI платформ своими руками, или как сейчас говорят RAG in Production.
Нашел в сети пост мини-книгу от небезызвестной Chip Huyen: Building A Generative AI PlatformПожалуй, это одно из самых подробных руководств про построение Generative AI платформ своими руками, или как сейчас говорят RAG in Production.

Нашел в сети пост мини-книгу от небезызвестной Chip Huyen: Building A Generative AI PlatformПожалуй, это одно из самых подробных руководств про построение Generative AI платформ своими руками, или как сейчас говорят RAG in Production.

3 weeks, 5 days назад @ t.me
Гайд по промпт-инжинирингу от ребят из Anthropic: AI prompt engineering: A deep diveТакже в описании видео есть ссылка на их же мануал: https://docs.anthropic.com/en/docs/build-with-claude/prompt-engineering/overview
Гайд по промпт-инжинирингу от ребят из Anthropic: AI prompt engineering: A deep diveТакже в описании видео есть ссылка на их же мануал: https://docs.anthropic.com/en/docs/build-with-claude/prompt-engineering/overview

Гайд по промпт-инжинирингу от ребят из Anthropic: AI prompt engineering: A deep diveТакже в описании видео есть ссылка на их же мануал: https://docs.anthropic.com/en/docs/build-with-claude/prompt-engineering/overview

3 weeks, 6 days назад @ t.me
DuckCon #5Плейлист с докладами из прошедшей конференции DuckCon #5:— DuckDB – Overview and latest developments— MotherDuck: Taking flight with interactive analytics— Outliers are all you need— Quack attack: Bringing DuckDB to the dart side— A duck for your
DuckCon #5Плейлист с докладами из прошедшей конференции DuckCon #5:— DuckDB – Overview and latest developments— MotherDuck: Taking flight with interactive analytics— Outliers are all you need— Quack attack: Bringing DuckDB to the dart side— A duck for your

DuckCon #5Плейлист с докладами из прошедшей конференции DuckCon #5:— DuckDB – Overview and latest developments— MotherDuck: Taking flight with interactive analytics— Outliers are all you need— Quack attack: Bringing DuckDB to the dart side— A duck for your dashboard: Performant data apps in the browser with DuckDB— Delighting users with RESTful APIs and DuckDB— Aerodynamic data models: Flying fast at scale with DuckDB— Double glazing: Two years of windowing improvements— dbverse: Composable database libraries for larger-than-memory scientific analytics— A quack at building scalable data pipelines with DuckDB

4 weeks назад @ t.me
3-х часовой мастер-класс про LLM от Sebastian Raschka: Building LLMs from the Ground Up: A 3-hour Coding Workshop
3-х часовой мастер-класс про LLM от Sebastian Raschka: Building LLMs from the Ground Up: A 3-hour Coding Workshop

3-х часовой мастер-класс про LLM от Sebastian Raschka: Building LLMs from the Ground Up: A 3-hour Coding Workshop

1 month назад @ t.me
Бот-помощник для дата инженера 🤖Частенько возникает необходимость расшифровать расписание crontab-выражения на человеческий язык, поэтому запили телеграм-бота: CrontabDescriptionBot Отправьте ему cron-строку и он вернёт вам расписание. Пользуйтесь!Под капо
Бот-помощник для дата инженера 🤖Частенько возникает необходимость расшифровать расписание crontab-выражения на человеческий язык, поэтому запили телеграм-бота: CrontabDescriptionBot Отправьте ему cron-строку и он вернёт вам расписание. Пользуйтесь!Под капо Бот-помощник для дата инженера 🤖Частенько возникает необходимость расшифровать расписание crontab-выражения на человеческий язык, поэтому запили телеграм-бота: CrontabDescriptionBot Отправьте ему cron-строку и он вернёт вам расписание. Пользуйтесь!Под капо

Бот-помощник для дата инженера 🤖Частенько возникает необходимость расшифровать расписание crontab-выражения на человеческий язык, поэтому запили телеграм-бота: CrontabDescriptionBot Отправьте ему cron-строку и он вернёт вам расписание. Пользуйтесь!Под капотом он работает на лямбдах, поэтому оплачивать хостинг мне не надо, и поэтому всегда будет работать.

1 month, 2 weeks назад @ t.me
В сети появился интересный проект — SlateDB. Это встроенное хранилище на базе LSM Tree, но все данные хранятся на Object Storage сервисах (Amazon S3, Google Cloud Storage, minIO и т.д.). Проект написан на Rust, и пока не существует биндингов на другие язык
В сети появился интересный проект — SlateDB. Это встроенное хранилище на базе LSM Tree, но все данные хранятся на Object Storage сервисах (Amazon S3, Google Cloud Storage, minIO и т.д.). Проект написан на Rust, и пока не существует биндингов на другие язык

В сети появился интересный проект — SlateDB. Это встроенное хранилище на базе LSM Tree, но все данные хранятся на Object Storage сервисах (Amazon S3, Google Cloud Storage, minIO и т.д.). Проект написан на Rust, и пока не существует биндингов на другие языки. SlateDB активно разрабатывается и пока не рекомендуется к использованию в продакшене.Судя по всему, проект появился в результате прохождения мини-курса Mini-LSM.

1 month, 2 weeks назад @ t.me
Недавно я постил доклад про GIL и его отключение в будущих версиях Python. Вчера же на канал PyCon US загрузили доклад от Юры Селиванова про сабинтерпретаторы: Overcoming GIL with subinterpreters and immutability. Это один из вариантов улучшения производит
Недавно я постил доклад про GIL и его отключение в будущих версиях Python. Вчера же на канал PyCon US загрузили доклад от Юры Селиванова про сабинтерпретаторы: Overcoming GIL with subinterpreters and immutability. Это один из вариантов улучшения производит

Недавно я постил доклад про GIL и его отключение в будущих версиях Python. Вчера же на канал PyCon US загрузили доклад от Юры Селиванова про сабинтерпретаторы: Overcoming GIL with subinterpreters and immutability. Это один из вариантов улучшения производительности Python без отключения GIL. Я сам не сторонник удаления GIL, т.к. параллельное выполнение потоков потребует от программиста следить за их синхронизацией, чем собственно сейчас занимается GIL (он же mutex), поэтому интересно было послушать его доклад.Для тех, кто в танке, PEP 734 описывает работу сабинтерпретаторов, релиз этой библиотеки планировался в составе Python 3.13, но, к сожалению, Steering Council в апреле этого года решил …

1 month, 2 weeks назад @ t.me
Мудрые слова!А что думаете вы? Я на практике также стараюсь максимально избегать распределенных транзакций, т.к. это сразу значительно усложняет систему.Наиболее популярные паттерны распределенных транзакций:— Saga Pattern— 2-Phase Commit
Мудрые слова!А что думаете вы? Я на практике также стараюсь максимально избегать распределенных транзакций, т.к. это сразу значительно усложняет систему.Наиболее популярные паттерны распределенных транзакций:— Saga Pattern— 2-Phase Commit Мудрые слова!А что думаете вы? Я на практике также стараюсь максимально избегать распределенных транзакций, т.к. это сразу значительно усложняет систему.Наиболее популярные паттерны распределенных транзакций:— Saga Pattern— 2-Phase Commit

Мудрые слова!А что думаете вы? Я на практике также стараюсь максимально избегать распределенных транзакций, т.к. это сразу значительно усложняет систему.Наиболее популярные паттерны распределенных транзакций:— Saga Pattern— 2-Phase Commit

1 month, 2 weeks назад @ t.me
Релиз Apache Airflow 2.10Сегодня вышел релиз новой версии Apache Airflow — 2.10. Не успел я ещё перейти на 2.9, а нам подогнали 2.10. Что нового?— @skip_if и @run_if декораторы, позволяющие задавать условия при которых следует запускать или пропускать`task
Релиз Apache Airflow 2.10Сегодня вышел релиз новой версии Apache Airflow — 2.10. Не успел я ещё перейти на 2.9, а нам подогнали 2.10. Что нового?— @skip_if и @run_if декораторы, позволяющие задавать условия при которых следует запускать или пропускать`task

Релиз Apache Airflow 2.10Сегодня вышел релиз новой версии Apache Airflow — 2.10. Не успел я ещё перейти на 2.9, а нам подогнали 2.10. Что нового?— @skip_if и @run_if декораторы, позволяющие задавать условия при которых следует запускать или пропускать`task` — появилась возможность задавать разный Executor для tasks в рамках одного DAG— Датасеты отныне не триггерят DAGs, находящиеся в состоянии paused— Важно! Начиная с версии 2.10 Airflow по-умолчанию собирает телеметрию в рамках Open Source Marketing, все данные передаются в систему аналитики Scarf. Чтобы отключить, необходимо задать в конфиге [usage_data_collection]enabled=False либо через переменную окружения SCARF_ANALYTICS=falseС полным…

1 month, 3 weeks назад @ t.me
GIL и PythonPython, пожалуй, самый популярный язык программирования в дата инжиниринге несмотря на то, что его постоянно ругают за производительность и обжорство. Свои позиции он не сдал чего не скажешь, например, о Scala ☠️ Python своей "тормознутостью" о
GIL и PythonPython, пожалуй, самый популярный язык программирования в дата инжиниринге несмотря на то, что его постоянно ругают за производительность и обжорство. Свои позиции он не сдал чего не скажешь, например, о Scala ☠️ Python своей "тормознутостью" о

GIL и PythonPython, пожалуй, самый популярный язык программирования в дата инжиниринге несмотря на то, что его постоянно ругают за производительность и обжорство. Свои позиции он не сдал чего не скажешь, например, о Scala ☠️ Python своей "тормознутостью" отчасти обязан некогда архитектурному решению под названием GIL. Многие слышали эту аббревиатуру, но не все знают причину по которой появился GIL и как он работает под капотом. Если вам это интересно, то держите отличный доклад на русском языке: Зачем нужен GIL и как от него избавиться? от Евгения Афанасьева.В Python версии 3.13, релиз которой будет уже в октябре, добавили опциональную возможность отключить GIL 😲, нюансы описаны в PEP-703. …

1 month, 3 weeks назад @ t.me
Специализация по Data Engineering на Coursera29 августа 2024 года на учебной платформе Coursera стартует специализация по дата инжинирингу от DeepLearning.AI — DeepLearning.AI Data Engineering Professional Certificate. Инструктором на курсах будет Joe Reis
Специализация по Data Engineering на Coursera29 августа 2024 года на учебной платформе Coursera стартует специализация по дата инжинирингу от DeepLearning.AI — DeepLearning.AI Data Engineering Professional Certificate. Инструктором на курсах будет Joe Reis

Специализация по Data Engineering на Coursera29 августа 2024 года на учебной платформе Coursera стартует специализация по дата инжинирингу от DeepLearning.AI — DeepLearning.AI Data Engineering Professional Certificate. Инструктором на курсах будет Joe Reis, известный в узких кругах как автор книги Fundamentals of Data Engineering, издательство O'Reilly.Обучение рассчитано на 3 месяца, целевая аудитория Intermediate-level специалисты. В специализацию входит 4 курса:— Introduction to Data Engineering— Source Systems, Data Ingestion, and Pipeline— Data Storage and Queries— Data Modeling, Transformation, and ServingОбучение платное как и большинство специализаций на Coursera, но есть возможност…

1 month, 3 weeks назад @ t.me
Get or Create средствами базы данныхУ Haki Benita в блоге нашел статью про реализацию функции get_or_create средствами PostgreSQL — How to Get or Create in PostgreSQL: and why it is so easy to get wrongОтличная статья, мне нравится, что автор использует по
Get or Create средствами базы данныхУ Haki Benita в блоге нашел статью про реализацию функции get_or_create средствами PostgreSQL — How to Get or Create in PostgreSQL: and why it is so easy to get wrongОтличная статья, мне нравится, что автор использует по

Get or Create средствами базы данныхУ Haki Benita в блоге нашел статью про реализацию функции get_or_create средствами PostgreSQL — How to Get or Create in PostgreSQL: and why it is so easy to get wrongОтличная статья, мне нравится, что автор использует пошаговый подход и объясняет на каждом этапе какую проблему решает. На первый взгляд может показаться, что нет никаких проблем реализовать Get or Create, но дьявол в мелочах. Рекомендую к прочтению, есть вероятность такой вопрос встретить в будущем на собеседованиях.

1 month, 3 weeks назад @ t.me
Инжиниринг Данных Инжиниринг Данных
последний пост 15 часов назад
Data Engineering tool box выходного дня. Сегодня будет выступление - Richard Dawkins, чтобы лучше информация воспринималась))
Data Engineering tool box выходного дня. Сегодня будет выступление - Richard Dawkins, чтобы лучше информация воспринималась)) Data Engineering tool box выходного дня. Сегодня будет выступление - Richard Dawkins, чтобы лучше информация воспринималась))

Data Engineering tool box выходного дня. Сегодня будет выступление - Richard Dawkins, чтобы лучше информация воспринималась))

15 часов назад @ t.me
В маленьких компаниях (командах) все просто, если что-то сломалось - взяли и починили. Авось никто и не заметит.А вот в больших командах и организациях все по-другому. Как правило, аналитическое решение (хранилище данных) это не business critical и может н
В маленьких компаниях (командах) все просто, если что-то сломалось - взяли и починили. Авось никто и не заметит.А вот в больших командах и организациях все по-другому. Как правило, аналитическое решение (хранилище данных) это не business critical и может н В маленьких компаниях (командах) все просто, если что-то сломалось - взяли и починили. Авось никто и не заметит.А вот в больших командах и организациях все по-другому. Как правило, аналитическое решение (хранилище данных) это не business critical и может н

В маленьких компаниях (командах) все просто, если что-то сломалось - взяли и починили. Авось никто и не заметит.А вот в больших командах и организациях все по-другому. Как правило, аналитическое решение (хранилище данных) это не business critical и может не работать целый день, пользователи потерпят. Но если ломается часто, то уже нужно что-то с этим делать, и самая лучшая стратегия пофиксить все начать использовать процессы для работы с инцидентами, прям как на картинке. Обычно используют уже готовое решение от back-end/devops, такие как PagerDuty и другие, сразу появляется новая обязанность - on-call, нужно писать сообщение бизнес пользователям о поломках и обещать, что однажды все будет …

2 days, 22 hours назад @ t.me
Как у вас получается бороться с tech debt?Замечательная статья - Paying down tech debt“What is tech debt?I define tech debt as any problem in the codebase that affects programmers by making it harder to make necessary changes. As a programmer, I wanted to
Как у вас получается бороться с tech debt?Замечательная статья - Paying down tech debt“What is tech debt?I define tech debt as any problem in the codebase that affects programmers by making it harder to make necessary changes. As a programmer, I wanted to Как у вас получается бороться с tech debt?Замечательная статья - Paying down tech debt“What is tech debt?I define tech debt as any problem in the codebase that affects programmers by making it harder to make necessary changes. As a programmer, I wanted to

Как у вас получается бороться с tech debt?Замечательная статья - Paying down tech debt“What is tech debt?I define tech debt as any problem in the codebase that affects programmers by making it harder to make necessary changes. As a programmer, I wanted to fix such issues because they slowed me down. But as a manager, I had to ensure the team delivered value to stakeholders.”“Я определяю технический долг как любую проблему в кодовой базе, которая мешает программистам вносить необходимые изменения. Как программист, я хотел исправить такие проблемы, потому что они замедляли мою работу. Но будучи менеджером, я должен был убедиться, что команда приносит ценность заинтересованным сторонам.”

3 days, 11 hours назад @ t.me
Реально работа с датами и часовыми поясами всегда боль. Кто как решает для себя эту проблему?
Реально работа с датами и часовыми поясами всегда боль. Кто как решает для себя эту проблему? Реально работа с датами и часовыми поясами всегда боль. Кто как решает для себя эту проблему?

Реально работа с датами и часовыми поясами всегда боль. Кто как решает для себя эту проблему?

4 days, 3 hours назад @ t.me
Amazon Hybrid work policy 😛
Amazon Hybrid work policy 😛 Amazon Hybrid work policy 😛

Amazon Hybrid work policy 😛

5 days, 1 hour назад @ t.me
Точно интересное время☀️
Точно интересное время☀️ Точно интересное время☀️

Точно интересное время☀️

5 days, 17 hours назад @ t.me
В интересное время живем🔫🙌
В интересное время живем🔫🙌 В интересное время живем🔫🙌

В интересное время живем🔫🙌

6 days, 3 hours назад @ t.me
Так это выглядит на практике. Осталось в Twitch стримить. Заодно практика английского.
Так это выглядит на практике. Осталось в Twitch стримить. Заодно практика английского. Так это выглядит на практике. Осталось в Twitch стримить. Заодно практика английского.

Так это выглядит на практике. Осталось в Twitch стримить. Заодно практика английского.

1 week назад @ t.me
В Surfalytics мы делаем типичные Data Engineering проекты нетипичным образом. Обычно цель любого end-to-end проекта — это использование стандартных настроек и минимальной конфигурации. Практически любой проект на Youtube это будет набор команд и шагов. Час
В Surfalytics мы делаем типичные Data Engineering проекты нетипичным образом. Обычно цель любого end-to-end проекта — это использование стандартных настроек и минимальной конфигурации. Практически любой проект на Youtube это будет набор команд и шагов. Час

В Surfalytics мы делаем типичные Data Engineering проекты нетипичным образом. Обычно цель любого end-to-end проекта — это использование стандартных настроек и минимальной конфигурации. Практически любой проект на Youtube это будет набор команд и шагов. Часто человек может даже не понимать как работает, но с покер фейсом нас учить, как делать Copy-Paste и строить решение. На выходе, у нас много pet проектов и 0 релевантного опыта и главное вообще не понятно как это применять в реальных условиях.Сегодня Максим проводил проект по созданию end-to-end решения для работы с API (job posting сайт) с использованием стека AWS, включая такие сервисы, как Lambda, Step Functions, Redshift и другие. Но в…

1 week назад @ t.me
Иногда кажется чем больше rejection rate, тем лучше для HR и они наверно еще бонусы получают и хвастаются у кого больше rejection и что вообще можно все автоматизировать и оно само будет делать screening и rejection.Позабыты хлопоты, остановлен бег, Вкалыв
Иногда кажется чем больше rejection rate, тем лучше для HR и они наверно еще бонусы получают и хвастаются у кого больше rejection и что вообще можно все автоматизировать и оно само будет делать screening и rejection.Позабыты хлопоты, остановлен бег, Вкалыв Иногда кажется чем больше rejection rate, тем лучше для HR и они наверно еще бонусы получают и хвастаются у кого больше rejection и что вообще можно все автоматизировать и оно само будет делать screening и rejection.Позабыты хлопоты, остановлен бег, Вкалыв

Иногда кажется чем больше rejection rate, тем лучше для HR и они наверно еще бонусы получают и хвастаются у кого больше rejection и что вообще можно все автоматизировать и оно само будет делать screening и rejection.Позабыты хлопоты, остановлен бег, Вкалывают роботы, а не человек! До чего дошел прогресс! Было времени в обрез, А теперь гуляй по свету - хочешь, с песней, хочешь, без!

1 week, 1 day назад @ t.me
Сегодня разбирали архитектуру большой американской компании, которая собирает данные клиентов с мобильных телефонов. Решение на AWS, куча Kinesis стримов, которые пишут в S3 (json), дальше lambda их обрабатывает и пишет в другой S3. Есть еще DynamoDB с кли
Сегодня разбирали архитектуру большой американской компании, которая собирает данные клиентов с мобильных телефонов. Решение на AWS, куча Kinesis стримов, которые пишут в S3 (json), дальше lambda их обрабатывает и пишет в другой S3. Есть еще DynamoDB с кли Сегодня разбирали архитектуру большой американской компании, которая собирает данные клиентов с мобильных телефонов. Решение на AWS, куча Kinesis стримов, которые пишут в S3 (json), дальше lambda их обрабатывает и пишет в другой S3. Есть еще DynamoDB с кли

Сегодня разбирали архитектуру большой американской компании, которая собирает данные клиентов с мобильных телефонов. Решение на AWS, куча Kinesis стримов, которые пишут в S3 (json), дальше lambda их обрабатывает и пишет в другой S3. Есть еще DynamoDB с клиентской информации, которая делает ежедневные snapshots в S3. В конце с помощью Athena таблицы и запросы.Компания продает обезличенные данные на млн долларов для других компаний. И товарищ непосредственно занимается интеграцией и выгрузкой данных для сторонних компаний.Выгрузка происходит раз в час, когда Glue Python Shell запускает запросы Athena и делает unload в S3. С помощью вспомогательных запросов отслеживается качество данных и резу…

1 week, 2 days назад @ t.me
Вебинар: ➡️Мигрируем аналитическую отчетность с SAP BW на импортонезависимый стек. Показываем вживуюНа вебинаре команда Sapiens solutions поделится техническими деталями реализации проектов миграции.📅Дата вебинара: 01.10.2024⌚️Время начала: 11:00 МскРегист
Вебинар: ➡️Мигрируем аналитическую отчетность с SAP BW на импортонезависимый стек. Показываем вживуюНа вебинаре команда Sapiens solutions поделится техническими деталями реализации проектов миграции.📅Дата вебинара: 01.10.2024⌚️Время начала: 11:00 МскРегист Вебинар: ➡️Мигрируем аналитическую отчетность с SAP BW на импортонезависимый стек. Показываем вживуюНа вебинаре команда Sapiens solutions поделится техническими деталями реализации проектов миграции.📅Дата вебинара: 01.10.2024⌚️Время начала: 11:00 МскРегист

Вебинар: ➡️Мигрируем аналитическую отчетность с SAP BW на импортонезависимый стек. Показываем вживуюНа вебинаре команда Sapiens solutions поделится техническими деталями реализации проектов миграции.📅Дата вебинара: 01.10.2024⌚️Время начала: 11:00 МскРегистрация обязательна ❗️Ключевые моменты вебинара:1️⃣ Загрузка данных из SAP ERP с помощью OData в Greenplum2️⃣ Фреймворк управления загрузками и расчетами Proplum3️⃣ Внедрение современного хранилища данных.4️⃣ Демонстрация процесса доставки данных - от создания документа в ERP до отображения в отчете5️⃣ Apache Superset как фронт BI: соответствие объектов SAP BW/BO и Superset, разработанный функционал форкаВебинар будет полезен, даже если вы н…

1 week, 2 days назад @ t.me
Какие технологии видятся мне перспективными из тех, с которыми я не работал или работал немного? У меня есть общее представление, но я глубоко не погружался, и надеюсь найдется время, чтобы исправить это.- Apache Arrow- Apache Iceberg ( я работал уже с гот
Какие технологии видятся мне перспективными из тех, с которыми я не работал или работал немного? У меня есть общее представление, но я глубоко не погружался, и надеюсь найдется время, чтобы исправить это.- Apache Arrow- Apache Iceberg ( я работал уже с гот

Какие технологии видятся мне перспективными из тех, с которыми я не работал или работал немного? У меня есть общее представление, но я глубоко не погружался, и надеюсь найдется время, чтобы исправить это.- Apache Arrow- Apache Iceberg ( я работал уже с готовыми решениями, но не строил с 0)- DuckDB- Polars- Rust/Golang языки программирования для задач дата инжиниринга- Ray (spark)- Protobuf (использую по факту, обычно в связки с event и streams)- Apache XTable Из старого но важного:- Kubernetes- Apache Kafka- Apache Flink- Fast APIУ меня список своеобразный конечно. Что еще есть интересного?

1 week, 3 days назад @ t.me
True Tech ChampВсероссийский чемпионат по алгоритмическому и робототехническому программированию от МТС.Регистрация: до 12 октябряДоступ к онлайн-заданиям: с 1 октябряФинал в офлайне: 8 ноябряРегистрируйся на алгоритмический трек и решай задачи в классичес
True Tech ChampВсероссийский чемпионат по алгоритмическому и робототехническому программированию от МТС.Регистрация: до 12 октябряДоступ к онлайн-заданиям: с 1 октябряФинал в офлайне: 8 ноябряРегистрируйся на алгоритмический трек и решай задачи в классичес True Tech ChampВсероссийский чемпионат по алгоритмическому и робототехническому программированию от МТС.Регистрация: до 12 октябряДоступ к онлайн-заданиям: с 1 октябряФинал в офлайне: 8 ноябряРегистрируйся на алгоритмический трек и решай задачи в классичес

True Tech ChampВсероссийский чемпионат по алгоритмическому и робототехническому программированию от МТС.Регистрация: до 12 октябряДоступ к онлайн-заданиям: с 1 октябряФинал в офлайне: 8 ноябряРегистрируйся на алгоритмический трек и решай задачи в классическом олимпиадном формате. Участникам в ходе отборочных испытаний предстоит решить алгоритмические задачи онлайн и посоревноваться в индивидуальном зачете. 150 участников с лучшим рейтингом будут приглашены на очный шоу-финал чемпионата. Призовой фонд трека — 2 750 000 руб.Смотри подробности и регистрируйся на сайте.

1 week, 3 days назад @ t.me
Тут возможно самый полный сборник всего, что есть по DE или около того. https://github.com/DataExpert-io/data-engineer-handbookЗабавно получается, чем больше материалов, ссылок, книг, курсов в одно месте, тем сложнее в этом разобраться. 🙌
Тут возможно самый полный сборник всего, что есть по DE или около того. https://github.com/DataExpert-io/data-engineer-handbookЗабавно получается, чем больше материалов, ссылок, книг, курсов в одно месте, тем сложнее в этом разобраться. 🙌

Тут возможно самый полный сборник всего, что есть по DE или около того. https://github.com/DataExpert-io/data-engineer-handbookЗабавно получается, чем больше материалов, ссылок, книг, курсов в одно месте, тем сложнее в этом разобраться. 🙌

1 week, 3 days назад @ t.me
Left Join Left Join
последний пост 1 week, 4 days назад
Данные были ошибкойКак-то раз мы обсуждали статью Бенна Стенсила, где тот спрашивал, нужна ли на самом деле аналитика. Сегодня пойдем дальше и спросим, а нужны ли нам данные в том виде, в котором мы собираем и используем их сейчас?Источник вдохновения для
Данные были ошибкойКак-то раз мы обсуждали статью Бенна Стенсила, где тот спрашивал, нужна ли на самом деле аналитика. Сегодня пойдем дальше и спросим, а нужны ли нам данные в том виде, в котором мы собираем и используем их сейчас?Источник вдохновения для Данные были ошибкойКак-то раз мы обсуждали статью Бенна Стенсила, где тот спрашивал, нужна ли на самом деле аналитика. Сегодня пойдем дальше и спросим, а нужны ли нам данные в том виде, в котором мы собираем и используем их сейчас?Источник вдохновения для

Данные были ошибкойКак-то раз мы обсуждали статью Бенна Стенсила, где тот спрашивал, нужна ли на самом деле аналитика. Сегодня пойдем дальше и спросим, а нужны ли нам данные в том виде, в котором мы собираем и используем их сейчас?Источник вдохновения для поста: статья What If Data Is a Bad Idea? Ниже — краткий пересказ основных идей, но рекомендуем прочитать материал целиком, он того стоит.🔜 Речь не о обо всех данных, а о персональных, которые собирают о пользователях сайты, соцсети и приложения.Проблема в том, что эти данные лежат где-то на недоступных частных серверах корпораций. Такой подход к сбору и хранению информации не делает разницы между данными о погоде и данными о живых, думающ…

1 week, 4 days назад @ t.me
Советы по SQL: полезные фичи и рекомендацииНашли классный документ на гитхабе с лайфхаками по SQL, как сделать код читабельнее и избежать частых ошибок. Советы подойдут не всем (уже предчувствуем, что многим не понравится первый пункт в блоке «Formatting/r
Советы по SQL: полезные фичи и рекомендацииНашли классный документ на гитхабе с лайфхаками по SQL, как сделать код читабельнее и избежать частых ошибок. Советы подойдут не всем (уже предчувствуем, что многим не понравится первый пункт в блоке «Formatting/r

Советы по SQL: полезные фичи и рекомендацииНашли классный документ на гитхабе с лайфхаками по SQL, как сделать код читабельнее и избежать частых ошибок. Советы подойдут не всем (уже предчувствуем, что многим не понравится первый пункт в блоке «Formatting/readability»), но ознакомиться стоит.Еще немного рекомендаций (и обсуждений злосчастной запятой из первого пункта) можно найти в треде на Hacker News.Сохраняйте пост себе, пересылайте знакомым — пригодится! 🔥

1 week, 5 days назад @ t.me
Один датасет, двадцать визуализацийДанные о динамике изменения возраста выхода на пенсию для мужчин и женщин из стран ОЭСР за 50 лет — звучит не очень интересно, правда? Еще и сложно: пока дочитаешь до конца предложения, забудешь с чего оно начиналось.Зато
Один датасет, двадцать визуализацийДанные о динамике изменения возраста выхода на пенсию для мужчин и женщин из стран ОЭСР за 50 лет — звучит не очень интересно, правда? Еще и сложно: пока дочитаешь до конца предложения, забудешь с чего оно начиналось.Зато Один датасет, двадцать визуализацийДанные о динамике изменения возраста выхода на пенсию для мужчин и женщин из стран ОЭСР за 50 лет — звучит не очень интересно, правда? Еще и сложно: пока дочитаешь до конца предложения, забудешь с чего оно начиналось.Зато

Один датасет, двадцать визуализацийДанные о динамике изменения возраста выхода на пенсию для мужчин и женщин из стран ОЭСР за 50 лет — звучит не очень интересно, правда? Еще и сложно: пока дочитаешь до конца предложения, забудешь с чего оно начиналось.Зато на основе этого набора данных специалистка по датавизу из Польши нарисовала аж 20 разных графиков: столбчатые, линейные разных видов, тепловые карты, даже нелюбимые многими «ящики с усами» затесались.Не все из них одинаково полезны — есть ощущение, что не все способы визуализации одинаково хорошо подходят для этого датасета. В любом случае, работа впечатляет. 🔥А у вас есть нелюбимый вид графиков, которые не используете и не понимаете?

1 week, 5 days назад @ t.me
Секреты мастерства 👌🏻
Секреты мастерства 👌🏻 Секреты мастерства 👌🏻

Секреты мастерства 👌🏻

2 weeks, 3 days назад @ t.me
2 дня до конца исследования онлайн-школ по аналитике! Напоминаем: команда LEFT JOIN проводит независимое исследование онлайн-курсов по аналитике. Мы хотим выяснить, какие из них самые популярные и полезные, а заодно — узнать, как люди относятся к такому фо
2 дня до конца исследования онлайн-школ по аналитике! Напоминаем: команда LEFT JOIN проводит независимое исследование онлайн-курсов по аналитике. Мы хотим выяснить, какие из них самые популярные и полезные, а заодно — узнать, как люди относятся к такому фо

2 дня до конца исследования онлайн-школ по аналитике! Напоминаем: команда LEFT JOIN проводит независимое исследование онлайн-курсов по аналитике. Мы хотим выяснить, какие из них самые популярные и полезные, а заодно — узнать, как люди относятся к такому формату…

2 weeks, 4 days назад @ t.me
5 причин, почему ваши данные не приносят пользу бизнесу, и что с этим делатьВот у нас некий бизнес → Вот есть данные об этом бизнесе — продажи, расходы, доходы и так далее → Вот есть таблицы, где эти данные хранятся, и графики, которые их наглядно визуализ
5 причин, почему ваши данные не приносят пользу бизнесу, и что с этим делатьВот у нас некий бизнес → Вот есть данные об этом бизнесе — продажи, расходы, доходы и так далее → Вот есть таблицы, где эти данные хранятся, и графики, которые их наглядно визуализ 5 причин, почему ваши данные не приносят пользу бизнесу, и что с этим делатьВот у нас некий бизнес → Вот есть данные об этом бизнесе — продажи, расходы, доходы и так далее → Вот есть таблицы, где эти данные хранятся, и графики, которые их наглядно визуализ

5 причин, почему ваши данные не приносят пользу бизнесу, и что с этим делатьВот у нас некий бизнес → Вот есть данные об этом бизнесе — продажи, расходы, доходы и так далее → Вот есть таблицы, где эти данные хранятся, и графики, которые их наглядно визуализируют.🔜 Но чего-то не хватает. Что же это может быть?..Ах, да. Польза и те самые ценные инсайты, которые обещают извлечь из данных аналитики. Работы по сбору и обработке данных много, а вот выгоды не очень — почему это происходит?Читайте в новой статье на VC → https://vc.ru/services/1488821-5-prichin-pochemu-vashi-dannye-ne-prinosyat-polzu-biznesu-i-chto-s-etim-delatЭто случается достаточно часто, и обычно к такой ситуации приводят 5 основ…

2 weeks, 4 days назад @ t.me
Как подружить разрозненные данные с помощью сквозного идентификатораПочти каждый бизнес собирает данные о клиентах из множества разных источников. Что-то отправляют они сами, что-то — заносят менеджеры. И это неизбежно приводит к хаосу: просто поразительно
Как подружить разрозненные данные с помощью сквозного идентификатораПочти каждый бизнес собирает данные о клиентах из множества разных источников. Что-то отправляют они сами, что-то — заносят менеджеры. И это неизбежно приводит к хаосу: просто поразительно Как подружить разрозненные данные с помощью сквозного идентификатораПочти каждый бизнес собирает данные о клиентах из множества разных источников. Что-то отправляют они сами, что-то — заносят менеджеры. И это неизбежно приводит к хаосу: просто поразительно

Как подружить разрозненные данные с помощью сквозного идентификатораПочти каждый бизнес собирает данные о клиентах из множества разных источников. Что-то отправляют они сами, что-то — заносят менеджеры. И это неизбежно приводит к хаосу: просто поразительно, сколько существует разных способов записать один и тот де номер телефона. 👀🔜 Это мешает корректно отследить путь клиента и посчитать важные метрики — например, стоимость привлечения лида и прибыль, которую он в итоге принес.Мы в своей практике тоже с таким сталкивались, и в новой статье рассказываем, как решить эту проблему с помощью сквозного идентификатора. Это уникальный номер, который присваивается клиенту, и помогает объединить все …

2 weeks, 6 days назад @ t.me
2 дня до конца исследования онлайн-школ по аналитике!Напоминаем: команда LEFT JOIN проводит независимое исследование онлайн-курсов по аналитике. Мы хотим выяснить, какие из них самые популярные и полезные, а заодно — узнать, как люди относятся к такому фор
2 дня до конца исследования онлайн-школ по аналитике!Напоминаем: команда LEFT JOIN проводит независимое исследование онлайн-курсов по аналитике. Мы хотим выяснить, какие из них самые популярные и полезные, а заодно — узнать, как люди относятся к такому фор

2 дня до конца исследования онлайн-школ по аналитике!Напоминаем: команда LEFT JOIN проводит независимое исследование онлайн-курсов по аналитике. Мы хотим выяснить, какие из них самые популярные и полезные, а заодно — узнать, как люди относятся к такому формату обучения в целом.💙 Мы уже собрали 360 голосов, и это крутой результат. Спасибо всем, кто принял участие! Если вы еще не успели это сделать, но очень хотите, у вас есть время. Сбор голосов заканчивается 19 сентября.🔜 Пройти опросВсем участникам выдаем в награду список классных бесплатных материалов для аналитиков и всех, кто интересуется ИИ, SQL и работой с данными.Так что спешите проголосовать сами и рассказать друзьям, если еще не сд…

2 weeks, 6 days назад @ t.me
Дизайнеры отнимают работу у нейросетей!Летом мы писали про то, как российские сервисы начали внедрять в работу ML и нейросети. Маркетплейсы с помощью ИИ решили упростить заполнение карточек — то есть подготовку текстов и обработку картинок. Тогда нас особе
Дизайнеры отнимают работу у нейросетей!Летом мы писали про то, как российские сервисы начали внедрять в работу ML и нейросети. Маркетплейсы с помощью ИИ решили упростить заполнение карточек — то есть подготовку текстов и обработку картинок. Тогда нас особе

Дизайнеры отнимают работу у нейросетей!Летом мы писали про то, как российские сервисы начали внедрять в работу ML и нейросети. Маркетплейсы с помощью ИИ решили упростить заполнение карточек — то есть подготовку текстов и обработку картинок. Тогда нас особенно впечатлили видеообложки от Ozon, и мы даже предложили дизайнеру сделать свой вариант.И вот он готов, и ждем вашего вердикта. 👆🏻Кто победил в этом соревновании: человек или робот? Ставьте ❤️, если человек, и 👾, если робот!

3 weeks назад @ t.me
Почему аналитика оффлайн-обучения — это боль: рассказывает преподаватель из ВШЭЧетвертый сезон Data Heroes заканчивается интервью с Евгением Соколовым.Он больше 10 лет в Data Science, работал в Яндексе, а сейчас руководит департаментом больших данных и инф
Почему аналитика оффлайн-обучения — это боль: рассказывает преподаватель из ВШЭЧетвертый сезон Data Heroes заканчивается интервью с Евгением Соколовым.Он больше 10 лет в Data Science, работал в Яндексе, а сейчас руководит департаментом больших данных и инф Почему аналитика оффлайн-обучения — это боль: рассказывает преподаватель из ВШЭЧетвертый сезон Data Heroes заканчивается интервью с Евгением Соколовым.Он больше 10 лет в Data Science, работал в Яндексе, а сейчас руководит департаментом больших данных и инф

Почему аналитика оффлайн-обучения — это боль: рассказывает преподаватель из ВШЭЧетвертый сезон Data Heroes заканчивается интервью с Евгением Соколовым.Он больше 10 лет в Data Science, работал в Яндексе, а сейчас руководит департаментом больших данных и информационного поиска факультета компьютерных наук ВШЭ. Вот этому всему и посвящен выпуск!🔵 Как изменился Data Science за эти годы?🔵 Как Евгений решился из бизнеса уйти в преподавание, и за что он любит эту работу?🔵Как в Вышке поддерживают актуальность учебных программ и делают их интересными для студентов?🔵 Отличия между обучением онлайн и оффлайн с точки зрения преподавателя — какой интереснее формат интереснее? А как их анализировать, и к…

3 weeks, 3 days назад @ t.me
В пятом выпуске «Завтра в Data» у микрофона Александр Бараков — Head of BI в Luxoft и автор телеграм-канала Data Nature.О чем мы поговорили?🔵От архитектора до BI: путь, который не нужно повторять.🔵Рабочее комбо в образовании человека, работающего с данными
В пятом выпуске «Завтра в Data» у микрофона Александр Бараков — Head of BI в Luxoft и автор телеграм-канала Data Nature.О чем мы поговорили?🔵От архитектора до BI: путь, который не нужно повторять.🔵Рабочее комбо в образовании человека, работающего с данными В пятом выпуске «Завтра в Data» у микрофона Александр Бараков — Head of BI в Luxoft и автор телеграм-канала Data Nature.О чем мы поговорили?🔵От архитектора до BI: путь, который не нужно повторять.🔵Рабочее комбо в образовании человека, работающего с данными

В пятом выпуске «Завтра в Data» у микрофона Александр Бараков — Head of BI в Luxoft и автор телеграм-канала Data Nature.О чем мы поговорили?🔵От архитектора до BI: путь, который не нужно повторять.🔵Рабочее комбо в образовании человека, работающего с данными.🔵Бег по кругу и рутина — единственное, что смущает в сфере?🔜 Подробности — в канале Карьера в Data | LEFT JOIN.

3 weeks, 3 days назад @ t.me
Обзор аналогов MiroА вот и обещанная подборка аналогов ушедшего, но не совсем Miro.Чтобы пост получился максимально беспристрастным, мы решили отказаться от субъективных оценок «нравится — не нравится», «удобно — не удобно». Вместо этого оценивали инструме
Обзор аналогов MiroА вот и обещанная подборка аналогов ушедшего, но не совсем Miro.Чтобы пост получился максимально беспристрастным, мы решили отказаться от субъективных оценок «нравится — не нравится», «удобно — не удобно». Вместо этого оценивали инструме Обзор аналогов MiroА вот и обещанная подборка аналогов ушедшего, но не совсем Miro.Чтобы пост получился максимально беспристрастным, мы решили отказаться от субъективных оценок «нравится — не нравится», «удобно — не удобно». Вместо этого оценивали инструме

Обзор аналогов MiroА вот и обещанная подборка аналогов ушедшего, но не совсем Miro.Чтобы пост получился максимально беспристрастным, мы решили отказаться от субъективных оценок «нравится — не нравится», «удобно — не удобно». Вместо этого оценивали инструменты по нескольким главным признакам.🔵 Цена.🔵 Функционал. Сравнивали основные возможности (фигуры, схемы, таблицы, стикеры, майндмэпы, рисунки), потому что к богатству функций и интеграций неповторимого оригинала пока никто не приблизился.🔵 Возможность импорта доски из Miro.Подробности на карточках, а итог такой:🔵 У большинства аналогов есть бесплатная версия, в которой можно сделать три доски и пригласить ограниченное число участников.🔵 Фу…

3 weeks, 4 days назад @ t.me
Да, это тетрис на SQLПро GPT на SQL мы уже как-то рассказывали, а теперь вот нашли тетрис. Для запуска нужен Postgres — чтобы обойти некоторые ограничения языка, автор воспользовался возможностями именно этой СУБД.Скачать игру можно на гитхабе автора и там
Да, это тетрис на SQLПро GPT на SQL мы уже как-то рассказывали, а теперь вот нашли тетрис. Для запуска нужен Postgres — чтобы обойти некоторые ограничения языка, автор воспользовался возможностями именно этой СУБД.Скачать игру можно на гитхабе автора и там

Да, это тетрис на SQLПро GPT на SQL мы уже как-то рассказывали, а теперь вот нашли тетрис. Для запуска нужен Postgres — чтобы обойти некоторые ограничения языка, автор воспользовался возможностями именно этой СУБД.Скачать игру можно на гитхабе автора и там же почитать, с какими проблемами он столкнулся во время работы над проектом и как искал решения. Материал впечатляющий, как и результат работы. Единственный минус в том, что автор почему-то не назвал свой проект TetriSQL. А какие впечатляющие проекты на SQL попадались вам? 👀

3 weeks, 4 days назад @ t.me
В России пройдет международная олимпиада по ИИ и анализу данных AIDAOСпрогнозировать положение спутников, рассчитать время ожидания заказа для водителя такси и предсказать, как изменения в структуре материала повлияют на его свойства — что общего у этих тр
В России пройдет международная олимпиада по ИИ и анализу данных AIDAOСпрогнозировать положение спутников, рассчитать время ожидания заказа для водителя такси и предсказать, как изменения в структуре материала повлияют на его свойства — что общего у этих тр В России пройдет международная олимпиада по ИИ и анализу данных AIDAOСпрогнозировать положение спутников, рассчитать время ожидания заказа для водителя такси и предсказать, как изменения в структуре материала повлияют на его свойства — что общего у этих тр

В России пройдет международная олимпиада по ИИ и анализу данных AIDAOСпрогнозировать положение спутников, рассчитать время ожидания заказа для водителя такси и предсказать, как изменения в структуре материала повлияют на его свойства — что общего у этих трех вещей? 🔜 А то, что это все — примеры задач, которые будут решать участники AIDAO (Artificial intelligence and data analysis olympiad), студенческой олимпиады по ИИ, которую проводят Яндекс Образование и НИУ ВШЭ. Кроме возможности поработать над интересными кейсами, обещают знакомство с экспертами по искусственному интеллекту, экскурсии по офису Яндекса и денежные призы для победителей.Если вдруг заинтересовались, учтите: чтобы принять у…

3 weeks, 5 days назад @ t.me
Онлайн-курсы для аналитиков: за, против, свой вариант?А мы продолжаем исследование рынка онлайн-образования в сфере аналитики и приглашаем вас принять участие. Если еще не сделали этого — ждем ваших голосов по этой ссылке!Результаты первого исследования от
Онлайн-курсы для аналитиков: за, против, свой вариант?А мы продолжаем исследование рынка онлайн-образования в сфере аналитики и приглашаем вас принять участие. Если еще не сделали этого — ждем ваших голосов по этой ссылке!Результаты первого исследования от

Онлайн-курсы для аналитиков: за, против, свой вариант?А мы продолжаем исследование рынка онлайн-образования в сфере аналитики и приглашаем вас принять участие. Если еще не сделали этого — ждем ваших голосов по этой ссылке!Результаты первого исследования от 2021 года можно увидеть здесь.Зачем мы это затеяли?Онлайн-курсы обещают помочь сменить профессию, подтянуть знания и построить карьеру. Мы хотим выяснить:🔵 Действительно ли курсы помогают достичь этих целей?🔵 Какие школы наиболее популярны, и больше всего нравятся студентам?🔵 Видят люди ценность в онлайн-образовании?Важные примечания1️⃣ Нам важно узнать отношение к онлайн-образованию как явлению и собрать все мнения: положительные, отрица…

3 weeks, 6 days назад @ t.me
SQLite на практике SQLite на практике
последний пост 2 months назад
Работа с датой и временем в SQLiteВ sqlite есть встроенные функции для работы с датами, но они мне всегда не слишком нравились.Поэтому разработал расширение sqlean-time. Оно поддерживает точность вплоть до наносекунд и предоставляет удобное структурированн
Работа с датой и временем в SQLiteВ sqlite есть встроенные функции для работы с датами, но они мне всегда не слишком нравились.Поэтому разработал расширение sqlean-time. Оно поддерживает точность вплоть до наносекунд и предоставляет удобное структурированн

Работа с датой и временем в SQLiteВ sqlite есть встроенные функции для работы с датами, но они мне всегда не слишком нравились.Поэтому разработал расширение sqlean-time. Оно поддерживает точность вплоть до наносекунд и предоставляет удобное структурированное API с большим количеством функций.https://antonz.org/sqlean-time

2 months назад @ t.me
Современный SQLite: Вычисляемые столбцыВычисляемые (generated) столбцы рассчитываются на основании других столбцов той же таблицы. Например, мы можем рассчитать процент отказов на основе количества запросов:create table stats ( date text, n_total int, n
Современный SQLite: Вычисляемые столбцыВычисляемые (generated) столбцы рассчитываются на основании других столбцов той же таблицы. Например, мы можем рассчитать процент отказов на основе количества запросов:create table stats ( date text, n_total int, n

Современный SQLite: Вычисляемые столбцыВычисляемые (generated) столбцы рассчитываются на основании других столбцов той же таблицы. Например, мы можем рассчитать процент отказов на основе количества запросов:create table stats ( date text, n_total int, n_failed int, fail_perc as (n_failed*100.0 / n_total));Другой распространенный сценарий — вытащить поле JSON-документа в отдельный столбец, и при необходимости проиндексировать его:create table events ( id integer primary key, event blob, etime text as (event ->> 'time'), etype text as (event ->> 'type'));create index events_time on events(etime);insert into events(event) values('{"time": "2024-05-01", "type": "credit"}'),('{"time": "2024-05-0…

5 months назад @ t.me
Современный SQLite #1: STRICT-таблицыЯ начинаю марафон! Но не марафон желаний 😅 Буду вкратце рассказывать о полезных функциях современной SQLite, про которые вы (возможно) не слышали.Начнем со «строгих» таблиц.Как вы наверняка знаете, SQLite обладает гибко
Современный SQLite #1: STRICT-таблицыЯ начинаю марафон! Но не марафон желаний 😅 Буду вкратце рассказывать о полезных функциях современной SQLite, про которые вы (возможно) не слышали.Начнем со «строгих» таблиц.Как вы наверняка знаете, SQLite обладает гибко

Современный SQLite #1: STRICT-таблицыЯ начинаю марафон! Но не марафон желаний 😅 Буду вкратце рассказывать о полезных функциях современной SQLite, про которые вы (возможно) не слышали.Начнем со «строгих» таблиц.Как вы наверняка знаете, SQLite обладает гибкой системой типов (за что некоторые даже называют ее «джаваскриптом в мире СУБД»). Вы можете хранить любые значения в столбцах любых типов: например, строки в INTEGER-столбце или бинарные данные в REAL-столбце.Кто-то любит SQLite за эту гибкость, другие ненавидят за нее же. Поэтому в какой-то момент авторы SQLite добавили «строгие» (STRICT) таблицы:create table people ( id integer primary key, name text, salary real) strict;Они проверяют ти…

5 months назад @ t.me
SQL-полиглотСделал онлайн-утилиту, которая выполняет заданный запрос на любой СУБД от PostgreSQL до DuckDB (SQLite тоже есть, конечно).Удобно, чтобы быстро понять, поддерживает ли база тот или иной SQL-синтаксис.https://codapi.org/sql
SQL-полиглотСделал онлайн-утилиту, которая выполняет заданный запрос на любой СУБД от PostgreSQL до DuckDB (SQLite тоже есть, конечно).Удобно, чтобы быстро понять, поддерживает ли база тот или иной SQL-синтаксис.https://codapi.org/sql

SQL-полиглотСделал онлайн-утилиту, которая выполняет заданный запрос на любой СУБД от PostgreSQL до DuckDB (SQLite тоже есть, конечно).Удобно, чтобы быстро понять, поддерживает ли база тот или иной SQL-синтаксис.https://codapi.org/sql

9 months, 3 weeks назад @ t.me
Datalytics Datalytics
последний пост 4 days, 2 hours назад
Яндекс интегрировал VLM в Нейро, значительно улучшив возможности поиска и анализа изображений. На Хабре рассказали, как команда усовершенствовала существующие технологии и создала новый инструмент, делающий работу с визуальным контентом более эффективной.V
Яндекс интегрировал VLM в Нейро, значительно улучшив возможности поиска и анализа изображений. На Хабре рассказали, как команда усовершенствовала существующие технологии и создала новый инструмент, делающий работу с визуальным контентом более эффективной.V Яндекс интегрировал VLM в Нейро, значительно улучшив возможности поиска и анализа изображений. На Хабре рассказали, как команда усовершенствовала существующие технологии и создала новый инструмент, делающий работу с визуальным контентом более эффективной.V

Яндекс интегрировал VLM в Нейро, значительно улучшив возможности поиска и анализа изображений. На Хабре рассказали, как команда усовершенствовала существующие технологии и создала новый инструмент, делающий работу с визуальным контентом более эффективной.VLM представляет собой следующий этап в развитии моделей компьютерного зрения. Она не только распознает объекты на картинках, но и отвечает на сложные вопросы о деталях изображений.Архитектура VLM объединяет LLM, картиночный энкодер и адаптер. Новый пайплайн с VLM-рефразером и VLM-captioner расширил спектр решаемых задач.В статье подробно описан процесс обучения VLM и проведено сравнение с предыдущим LLM-пайплайном. Разработчики отмечают, ч…

4 days, 2 hours назад @ t.me
Алгоритмы поиска дубликатовРебята из HF Labs выложили отличную статью на Хабре о поиске дубликатов в клиентском MDM. Задача поиска дубликатов — суперкритична для обеспечения качества данных, дубли — потенциальный источник серьезных ошибок в аналитикеАвторы
Алгоритмы поиска дубликатовРебята из HF Labs выложили отличную статью на Хабре о поиске дубликатов в клиентском MDM. Задача поиска дубликатов — суперкритична для обеспечения качества данных, дубли — потенциальный источник серьезных ошибок в аналитикеАвторы

Алгоритмы поиска дубликатовРебята из HF Labs выложили отличную статью на Хабре о поиске дубликатов в клиентском MDM. Задача поиска дубликатов — суперкритична для обеспечения качества данных, дубли — потенциальный источник серьезных ошибок в аналитикеАвторы статьи рассказывают о том, как для эффективного поиска дубликатов важно правильно определить подход к обработке данных. Они выделяют несколько ключевых этапов:1️⃣ Чистка и нормализация данных2️⃣ Хеширование для быстрого поиска3️⃣ Применение компараторов и правил4️⃣ Обновление данных в режиме реального времениВсё это со своей спецификой про банковскую сферу, но перекладываемо на любые задачи поиска дубликатов (в том числе нечетких)Глубинно…

4 days, 3 hours назад @ t.me
«Я в режиме реального времени поясняла структуру запросов / ответов в Postman и разбирала документацию в Swagger», — пишет аналитик, который прошел наш курс, а потом два технических собеседования в международные компании. Приятно, конечно ❤️Если в 2024 год
«Я в режиме реального времени поясняла структуру запросов / ответов в Postman и разбирала документацию в Swagger», — пишет аналитик, который прошел наш курс, а потом два технических собеседования в международные компании. Приятно, конечно ❤️Если в 2024 год «Я в режиме реального времени поясняла структуру запросов / ответов в Postman и разбирала документацию в Swagger», — пишет аналитик, который прошел наш курс, а потом два технических собеседования в международные компании. Приятно, конечно ❤️Если в 2024 год

«Я в режиме реального времени поясняла структуру запросов / ответов в Postman и разбирала документацию в Swagger», — пишет аналитик, который прошел наш курс, а потом два технических собеседования в международные компании. Приятно, конечно ❤️Если в 2024 году вы хотите:— научиться выбирать стиль интеграции под вашу задачу;— начать проектировать с нуля и описывать интеграции в современных стилях (API: REST, SOAP, gRPC и других, + брокеры сообщений);— узнать как правильно собирать требования и моделировать в UML;— подготовиться к собеседованию, решив более 100 заданий;— запустить свой API на Python.Значит наш курс для вас! 🚀 Начните с открытых бесплатных уроков — переходите в бот курса и жмите …

4 days, 8 hours назад @ t.me
Бесплатный мини-курс по технологии ускорения ML-моделей — TritonВ Ozon Tech 100+ дата-сайентистов. Каждый день они решают задачи поиска и диалоговых систем, чат-ботов и матчинга, анализа спроса и рекомендаций. И много-много других! Для этого наши специалис
Бесплатный мини-курс по технологии ускорения ML-моделей — TritonВ Ozon Tech 100+ дата-сайентистов. Каждый день они решают задачи поиска и диалоговых систем, чат-ботов и матчинга, анализа спроса и рекомендаций. И много-много других! Для этого наши специалис Бесплатный мини-курс по технологии ускорения ML-моделей — TritonВ Ozon Tech 100+ дата-сайентистов. Каждый день они решают задачи поиска и диалоговых систем, чат-ботов и матчинга, анализа спроса и рекомендаций. И много-много других! Для этого наши специалис

Бесплатный мини-курс по технологии ускорения ML-моделей — TritonВ Ozon Tech 100+ дата-сайентистов. Каждый день они решают задачи поиска и диалоговых систем, чат-ботов и матчинга, анализа спроса и рекомендаций. И много-много других! Для этого наши специалисты используют огромное количество технологий. Одна из них — Triton.Курс — это гайд в формате лонгрида, из которого вы узнаете: — что такое Triton и как в нём происходит типизация данных;— как собрать простую модель под любые нужды;— как оптимизировать модель и дотащить до прода. Чтобы пройти курс, нужно: 1) отправить заявку на этой странице;2) иметь 2 часа свободного времени.А после прохождения вы получите приглашение в закрытый чат с DS-э…

5 days, 3 hours назад @ t.me
У Ромы Бунина вышло клёвое видео про дашборды и их жизненных цикл. У дашбордов целом жизнь короткая и Рома в видео рассказывает как продлить их существование, в том числе с помощью ИИКлючевой момент в том, что чем больше пользователей у дашборда, тем дольш
У Ромы Бунина вышло клёвое видео про дашборды и их жизненных цикл. У дашбордов целом жизнь короткая и Рома в видео рассказывает как продлить их существование, в том числе с помощью ИИКлючевой момент в том, что чем больше пользователей у дашборда, тем дольш

У Ромы Бунина вышло клёвое видео про дашборды и их жизненных цикл. У дашбордов целом жизнь короткая и Рома в видео рассказывает как продлить их существование, в том числе с помощью ИИКлючевой момент в том, что чем больше пользователей у дашборда, тем дольше он живет (капитанский вывод, но всё же это заставляет нас задумать о том как поддерживать постоянную используемость наших дашбордов)Как продлить жизнь дашборда? Три слова: процессы, процессы и еще раз процессы! 🔄Как в этом плане уже сейчас может помочь ИИ? Эта помощь в том, что через чат-ботов с LLM можно:➡️Искать нужные дашборды➡️Отвечать на вопросы по данным➡️Писать документацию➡️Описывать изменения в дашбордах (change-logs)➡️Помогать …

1 week назад @ t.me
Я знаю, сколько времени может уйти на поиск нужной информации в Telegram, поэтому регулярно делюсь полезными ссылками. Сегодня подготовили для вас целую подборку каналов в сфере “IT и Технологий” 🔥Тут вы точно найдете ответы на многие свои вопросы. А гла
Я знаю, сколько времени может уйти на поиск нужной информации в Telegram, поэтому регулярно делюсь полезными ссылками. Сегодня подготовили для вас целую подборку каналов в сфере  “IT и Технологий” 🔥Тут вы точно найдете ответы на многие свои вопросы.  А гла Я знаю, сколько времени может уйти на поиск нужной информации в Telegram, поэтому регулярно делюсь полезными ссылками. Сегодня подготовили для вас целую подборку каналов в сфере “IT и Технологий” 🔥Тут вы точно найдете ответы на многие свои вопросы. А гла

Я знаю, сколько времени может уйти на поиск нужной информации в Telegram, поэтому регулярно делюсь полезными ссылками. Сегодня подготовили для вас целую подборку каналов в сфере “IT и Технологий” 🔥Тут вы точно найдете ответы на многие свои вопросы. А главное - вам не придется, тратить на поиски информации несколько часов 😊 👇Поэтому переходите, подписывайтесь и пользуйтесь на здоровье 📂😉 Хотите подборку?

1 week, 3 days назад @ t.me
🚀Новый конструктор отчётов! Теперь можно собирать многостраничные документы нужного формата (размер, ориентация) для pixel-perfect экспорта в pdf или печати. Удобно для регулярных встреч с командой или отправки клиентам.Ключевое:- Функциональность доступна
🚀Новый конструктор отчётов! Теперь можно собирать многостраничные документы нужного формата (размер, ориентация) для pixel-perfect экспорта в pdf или печати. Удобно для регулярных встреч с командой или отправки клиентам.Ключевое:- Функциональность доступна

🚀Новый конструктор отчётов! Теперь можно собирать многостраничные документы нужного формата (размер, ориентация) для pixel-perfect экспорта в pdf или печати. Удобно для регулярных встреч с командой или отправки клиентам.Ключевое:- Функциональность доступна только в Business тарифе.- Отчёт – это ещё один тип объекта внутри воркбука.- Отчёт состоит из страниц, на каждую из которых можно добавлять чарты, картинки, текст.- Можно работать со слоями.- Можно копировать виджеты с дашбордов. Это удобно, если нужно быстро собрать печатную версию дашборда. Что в планах:- Конвертация дашбордов в многостраничные отчёты.- Поддержка селекторов (глобальных на весь документ, на группу, на отдельные страницы…

1 week, 3 days назад @ t.me
Сбер ищет в команду Аналитика-исследователя, который будет выстраивать анализ продуктов и оценивать эффекты и взаимосвязи Центра индустрии с экосистемой Сбера 🔗В ваши задачи будет входить взаимодействие с блоками и функциональными подразделениями, сбор дан
Сбер ищет в команду Аналитика-исследователя, который будет выстраивать анализ продуктов и оценивать эффекты и взаимосвязи Центра индустрии с экосистемой Сбера 🔗В ваши задачи будет входить взаимодействие с блоками и функциональными подразделениями, сбор дан Сбер ищет в команду Аналитика-исследователя, который будет выстраивать анализ продуктов и оценивать эффекты и взаимосвязи Центра индустрии с экосистемой Сбера 🔗В ваши задачи будет входить взаимодействие с блоками и функциональными подразделениями, сбор дан

Сбер ищет в команду Аналитика-исследователя, который будет выстраивать анализ продуктов и оценивать эффекты и взаимосвязи Центра индустрии с экосистемой Сбера 🔗В ваши задачи будет входить взаимодействие с блоками и функциональными подразделениями, сбор данных и проведение аналитических исследований.✅Мы предлагаем: премии и ежегодный пересмотр зарплаты, расширенный ДМС с первого дня, ипотеку выгоднее до 4% для каждого сотрудника, а еще корпоративное обучение в Виртуальной школе Сбера и бесплатную подписку СберПрайм+.Подробнее о вакансии по ссылке

1 week, 4 days назад @ t.me
Прочитал отличный совет Тани Мисютиной у Горбунова про важность выделения минимальной частицы данныхМне нравится та элегантность, которая лежит в основе подходов к архитектуре данных — каждый элемент находится на своем месте, образуя целостную и функционал
Прочитал отличный совет Тани Мисютиной у Горбунова про важность выделения минимальной частицы данныхМне нравится та элегантность, которая лежит в основе подходов к архитектуре данных — каждый элемент находится на своем месте, образуя целостную и функционал

Прочитал отличный совет Тани Мисютиной у Горбунова про важность выделения минимальной частицы данныхМне нравится та элегантность, которая лежит в основе подходов к архитектуре данных — каждый элемент находится на своем месте, образуя целостную и функциональную структуру. Есть в этом своего рода архитектурная красотаТаня в своём посте пишет о том, что для эффективного анализа данных важно правильно определить «частицу данных» — единицу смысла в конкретной задаче аналитика. Эта частица выступает связующим звеном между различными сущностями в описываемой реальности. Важный момент — даже если исходный датасет не содержит данные на уровне выбранной частицы, понимание этой единицы смысла помогает…

1 week, 4 days назад @ t.me
ПСБ приглашает системных аналитиков на Weekend Оffer 19-20 октября 2024, который пройдет в онлайн-формате➡️ Регистрация открыта до 9 октябряХочешь построить карьеру в финансовой сфере и решать сложные задачи по разработке приложений в одном из крупнейших б
ПСБ приглашает системных аналитиков на Weekend Оffer 19-20 октября 2024, который пройдет в онлайн-формате➡️ Регистрация открыта до 9 октябряХочешь построить карьеру в финансовой сфере и решать сложные задачи по разработке приложений в одном из крупнейших б ПСБ приглашает системных аналитиков на Weekend Оffer 19-20 октября 2024, который пройдет в онлайн-формате➡️ Регистрация открыта до 9 октябряХочешь построить карьеру в финансовой сфере и решать сложные задачи по разработке приложений в одном из крупнейших б

ПСБ приглашает системных аналитиков на Weekend Оffer 19-20 октября 2024, который пройдет в онлайн-формате➡️ Регистрация открыта до 9 октябряХочешь построить карьеру в финансовой сфере и решать сложные задачи по разработке приложений в одном из крупнейших банков страны? Тогда Weekend Offer от ПСБ — то, что тебе нужно!Не упусти уникальную возможность пройти все этапы отбора и получить предложение о работе за выходные.Приглашаем кандидатов на позицию системного аналитика, а также всех специалистов, стремящихся перейти в эту профессию.Почему тебе будет интересно в ИТ-команде ПСБ:▪️ удаленный формат работы▪️ только собственные решения банка▪️ подходы Agile/Waterfall▪️ продвинутый стек технологий…

1 week, 5 days назад @ t.me
👍dbt - это один из ключевых инструментов современной аналитики и modern data stack. Изучите один из самых востребованных инструментов аналитики, решая сложные практические задачи в нашем тренажере, научитесь DataOps практикам, постройте хранилище данных на
👍dbt - это один из ключевых инструментов современной аналитики и modern data stack. Изучите один из самых востребованных инструментов аналитики, решая сложные практические задачи в нашем тренажере, научитесь DataOps практикам, постройте хранилище данных на 👍dbt - это один из ключевых инструментов современной аналитики и modern data stack. Изучите один из самых востребованных инструментов аналитики, решая сложные практические задачи в нашем тренажере, научитесь DataOps практикам, постройте хранилище данных на

👍dbt - это один из ключевых инструментов современной аналитики и modern data stack. Изучите один из самых востребованных инструментов аналитики, решая сложные практические задачи в нашем тренажере, научитесь DataOps практикам, постройте хранилище данных на базе dbt, подготовьте и проанализируйте данныеВ тренажере вы освоите:1. Типы хранилищ данных DWH и их построение2. Подготовку и тестирование данных, Data Quality3. Построение ELT-pipelines4. Моделирование данных на базе dbt и PostgreSQL5. Принципы работы с СУБД на базе Postgres6. Продвинутую аналитику и визуализацию данных7. Современные DataOps-практики, оптимизацию производительности и многое другоеРазработаете свои pet-проекты:🔥 Статист…

1 week, 6 days назад @ t.me
Яндекс переработал и улучшил существующие функции для работы с текстом на базе YandexGPT в Яндекс Браузере, что привело к созданию отдельного инструмента. На Хабре рассказали, как можно дотюнить готовые фичи и сделать что-то новое, что сделает работу польз
Яндекс переработал и улучшил существующие функции для работы с текстом на базе YandexGPT в Яндекс Браузере, что привело к созданию отдельного инструмента. На Хабре рассказали, как можно дотюнить готовые фичи и сделать что-то новое, что сделает работу польз Яндекс переработал и улучшил существующие функции для работы с текстом на базе YandexGPT в Яндекс Браузере, что привело к созданию отдельного инструмента. На Хабре рассказали, как можно дотюнить готовые фичи и сделать что-то новое, что сделает работу польз

Яндекс переработал и улучшил существующие функции для работы с текстом на базе YandexGPT в Яндекс Браузере, что привело к созданию отдельного инструмента. На Хабре рассказали, как можно дотюнить готовые фичи и сделать что-то новое, что сделает работу пользователей ещё более комфортной.Инструмент включает возможность создания и редактирования текста. Обычно такие функции требовали сторонних приложений, но теперь они встроены прямо в браузер.Для оценки работы модели Яндекс использовал диффалку на Go, которая находит наидлиннейшие общие подпоследовательности (LCS). Это позволило эффективно анализировать разницу между версиями текста и ускорить проверку изменений. Переход на архитектуру Encoder…

2 weeks, 3 days назад @ t.me
Карьерный код Data-инженера: ошибки и лайфхаки23 сентября приглашаем вас на бесплатный вебинар от Слёрма! Встретимся с опытным специалистом и карьерным консультантом в сфере IT, чтобы обсудить: 👉 Как становятся дата-инженерами?👉 Как правильно показывать св
Карьерный код Data-инженера: ошибки и лайфхаки23 сентября приглашаем вас на бесплатный вебинар от Слёрма! Встретимся с опытным специалистом и карьерным консультантом в сфере IT, чтобы обсудить: 👉 Как становятся дата-инженерами?👉 Как правильно показывать св Карьерный код Data-инженера: ошибки и лайфхаки23 сентября приглашаем вас на бесплатный вебинар от Слёрма! Встретимся с опытным специалистом и карьерным консультантом в сфере IT, чтобы обсудить: 👉 Как становятся дата-инженерами?👉 Как правильно показывать св

Карьерный код Data-инженера: ошибки и лайфхаки23 сентября приглашаем вас на бесплатный вебинар от Слёрма! Встретимся с опытным специалистом и карьерным консультантом в сфере IT, чтобы обсудить: 👉 Как становятся дата-инженерами?👉 Как правильно показывать свой опыт и потенциал, чтобы получить оффер?👉 Hard и Soft скиллы — что реально важно на собеседованиях?👉 Что делать, если вы практикующий специалист, но развития не хватает?Николай поделится секретами успеха и ошибками, которых вы сможете избежать. А Екатерина расскажет, как не сбиться с пути и выстроить эффективный карьерный трек.➡️ 23 сентября, 20:00 мск ➡️ Занять место на вебинар – по ссылке.До встречи!Реклама ООО «Слёрм» ИНН 3652901451

2 weeks, 3 days назад @ t.me
True Tech ChampВсероссийский чемпионат по алгоритмическому и робототехническому программированию от МТС.Регистрация: до 12 октябряДоступ к онлайн-заданиям: с 1 октябряФинал в офлайне: 8 ноябряРегистрируйся на алгоритмический трек и решай задачи в классичес
True Tech ChampВсероссийский чемпионат по алгоритмическому и робототехническому программированию от МТС.Регистрация: до 12 октябряДоступ к онлайн-заданиям: с 1 октябряФинал в офлайне: 8 ноябряРегистрируйся на алгоритмический трек и решай задачи в классичес True Tech ChampВсероссийский чемпионат по алгоритмическому и робототехническому программированию от МТС.Регистрация: до 12 октябряДоступ к онлайн-заданиям: с 1 октябряФинал в офлайне: 8 ноябряРегистрируйся на алгоритмический трек и решай задачи в классичес

True Tech ChampВсероссийский чемпионат по алгоритмическому и робототехническому программированию от МТС.Регистрация: до 12 октябряДоступ к онлайн-заданиям: с 1 октябряФинал в офлайне: 8 ноябряРегистрируйся на алгоритмический трек и решай задачи в классическом олимпиадном формате. Участникам в ходе отборочных испытаний предстоит решить алгоритмические задачи онлайн и посоревноваться в индивидуальном зачете. 150 участников с лучшим рейтингом будут приглашены на очный шоу-финал чемпионата. Призовой фонд трека — 2 750 000 руб.Смотри подробности и регистрируйся на сайте.

2 weeks, 4 days назад @ t.me
Как искусственный интеллект меняет правила игры в бизнесе?Приглашаем тебя на митап по Data Science от экспертов Газпромбанк.Тех, где ты узнаешь:– Как мы используем нейронные сети для разбора платежных документов– Каким образом оптимизатор позволяет максими
Как искусственный интеллект меняет правила игры в бизнесе?Приглашаем тебя на митап по Data Science от экспертов Газпромбанк.Тех, где ты узнаешь:– Как мы используем нейронные сети для разбора платежных документов– Каким образом оптимизатор позволяет максими

Как искусственный интеллект меняет правила игры в бизнесе?Приглашаем тебя на митап по Data Science от экспертов Газпромбанк.Тех, где ты узнаешь:– Как мы используем нейронные сети для разбора платежных документов– Каким образом оптимизатор позволяет максимизировать прибыль от маркетинговых коммуникаций– Какие задачи решают квантовые технологии в мире финансовВ конце тебя ждет нетворкинг с участниками и спикерами митапа.Регистрируйся и приходи 19 сентября к нам в гости: Москва, ул. Коровий Вал д.5, БЦ «Оазис» — https://vk.cc/cAHhhbРеклама, Банк ГПБ (АО), ИНН: 7744001497, erid: 2Vtzquu9yXD

3 weeks назад @ t.me
Труба данных Труба данных
последний пост 10 часов назад
SQL Has Problems. We Can Fix Them: Pipe Syntax In SQLМы все умрем, а SQL и Excel остануться править миром. Даже из нейроинтерфейсов все равно будем вставлять данные в ячейки.При этом Google внутри себя написал новую спецификацию c видоизменным синтакисом,
SQL Has Problems. We Can Fix Them: Pipe Syntax In SQLМы все умрем, а SQL и Excel остануться править миром. Даже из нейроинтерфейсов все равно будем вставлять данные в ячейки.При этом Google внутри себя написал новую спецификацию c видоизменным синтакисом,

SQL Has Problems. We Can Fix Them: Pipe Syntax In SQLМы все умрем, а SQL и Excel остануться править миром. Даже из нейроинтерфейсов все равно будем вставлять данные в ячейки.При этом Google внутри себя написал новую спецификацию c видоизменным синтакисом, типа так удобней. И даже почти 2 тысячи человек этим внутри теперь пользуется.Всякие подробности в PDF (но ее можно скачать отсюда - https://research.google/pubs/sql-has-problems-we-can-fix-them-pipe-syntax-in-sql)Как мне кажется, так и останется нишевой штукой внутри Гугла🤓@ohmydataengineer - канал "🕯Труба Данных" смотрящий за помиранием Ходуба и SQL

10 часов назад @ t.me
https://prestodb.io/blog/2024/09/26/query-optimization-with-historical-based-optimization-framework-in-presto/Ну и далеко чтобы далеко не ходить, вот еще больше деталей про HBO (Historical-Based Optimization) в Мете, на том же Presto. Чтиво по ссылке выше,
https://prestodb.io/blog/2024/09/26/query-optimization-with-historical-based-optimization-framework-in-presto/Ну и далеко чтобы далеко не ходить, вот еще больше деталей про HBO (Historical-Based Optimization) в Мете, на том же Presto. Чтиво по ссылке выше,

https://prestodb.io/blog/2024/09/26/query-optimization-with-historical-based-optimization-framework-in-presto/Ну и далеко чтобы далеко не ходить, вот еще больше деталей про HBO (Historical-Based Optimization) в Мете, на том же Presto. Чтиво по ссылке выше, а вот видео со скриншотов (и весь плейлист с одного из митапов Presto) - вот тут https://www.youtube.com/watch?v=C1LVg7VOWwg&list=PLJVeO1NMmyqUO07nUAbu7RyG1AM36iCGS&index=10@ohmydataengineer - канал "🕯Труба Данных" решающий теорему Эскобара для Trino и Presto

1 day, 9 hours назад @ t.me
https://www.uber.com/en-DE/blog/preon/Как Uber написал свой анализатор запросов (оптимизатор, улучшатор) для PrestoВ общем, классика - стандартные инструменты не справлялись с нагрузкой / задачами / итд, поэтому мы написали свою - Preon. Потому что нужно и
https://www.uber.com/en-DE/blog/preon/Как Uber написал свой анализатор запросов (оптимизатор, улучшатор) для PrestoВ общем, классика - стандартные инструменты не справлялись с нагрузкой / задачами / итд, поэтому мы написали свою - Preon. Потому что нужно и https://www.uber.com/en-DE/blog/preon/Как Uber написал свой анализатор запросов (оптимизатор, улучшатор) для PrestoВ общем, классика - стандартные инструменты не справлялись с нагрузкой / задачами / итд, поэтому мы написали свою - Preon. Потому что нужно и

https://www.uber.com/en-DE/blog/preon/Как Uber написал свой анализатор запросов (оптимизатор, улучшатор) для PrestoВ общем, классика - стандартные инструменты не справлялись с нагрузкой / задачами / итд, поэтому мы написали свою - Preon. Потому что нужно и потому что можем.Но под капотом там интересные штуки, например, если они понимают, что запрос один и тот же, то зачем его исполнять, если у тебя есть TTL в 24 часа и этот запрос закеширован? 😃@ohmydataengineer - канал "🕯Труба Данных" рассказывает про проблемы 1% компаний.

2 days, 9 hours назад @ t.me
https://juhache.substack.com/p/rip-iceberg-catalogsЛожка дегтя о модном Iceberg Если вы собираетесь пересаживаться на Iceberg формат табличке (модная сейчас тема), полезно знать и возможные проблемки, с которыми вы столкнетесь и пути их решения. Небольшая
https://juhache.substack.com/p/rip-iceberg-catalogsЛожка дегтя о модном Iceberg Если вы собираетесь пересаживаться на Iceberg формат табличке (модная сейчас тема), полезно знать и возможные проблемки, с которыми вы столкнетесь и пути их решения. Небольшая

https://juhache.substack.com/p/rip-iceberg-catalogsЛожка дегтя о модном Iceberg Если вы собираетесь пересаживаться на Iceberg формат табличке (модная сейчас тема), полезно знать и возможные проблемки, с которыми вы столкнетесь и пути их решения. Небольшая статья с картинками. Пригодится в споре с закисшими архитекторами.@ohmydataengineer - канал "🕯Труба Данных" разрушает фантазии о модных технологиях.

4 days, 8 hours назад @ t.me
https://www.timescale.com/blog/scaling-postgresql-to-petabyte-scaleОжидал побольше мяготки и деталей от самих TimeScale, но внутри без графиков, к сожалению. Что очень странно, ведь ребята в прямом смысле делали dogfooding.Однако в целом очень жирное заявл
https://www.timescale.com/blog/scaling-postgresql-to-petabyte-scaleОжидал побольше мяготки и деталей от самих TimeScale, но внутри без графиков, к сожалению. Что очень странно, ведь ребята в прямом смысле делали dogfooding.Однако в целом очень жирное заявл https://www.timescale.com/blog/scaling-postgresql-to-petabyte-scaleОжидал побольше мяготки и деталей от самих TimeScale, но внутри без графиков, к сожалению. Что очень странно, ведь ребята в прямом смысле делали dogfooding.Однако в целом очень жирное заявл

https://www.timescale.com/blog/scaling-postgresql-to-petabyte-scaleОжидал побольше мяготки и деталей от самих TimeScale, но внутри без графиков, к сожалению. Что очень странно, ведь ребята в прямом смысле делали dogfooding.Однако в целом очень жирное заявление: 1 (!!) инстанс, 800 миллиардов метрик в день. Ничего себе так разогнали Postgres ⬆️@ohmydataengineer - канал "🕯Труба Данных" про то, как не сходить с ума от очень большой даты.

5 days, 9 hours назад @ t.me
https://craftingdataproducts.substack.com/p/the-data-death-cycleО том, как помирают дата проекты.В основе статьи лежит довольно простой, но обухом бьющий по голове, список ошибок:- The Tech Trap: когда мы задаем вопрос "Какую проблему может решить эта техн
https://craftingdataproducts.substack.com/p/the-data-death-cycleО том, как помирают дата проекты.В основе статьи лежит довольно простой, но обухом бьющий по голове, список ошибок:- The Tech Trap: когда мы задаем вопрос "Какую проблему может решить эта техн https://craftingdataproducts.substack.com/p/the-data-death-cycleО том, как помирают дата проекты.В основе статьи лежит довольно простой, но обухом бьющий по голове, список ошибок:- The Tech Trap: когда мы задаем вопрос "Какую проблему может решить эта техн

https://craftingdataproducts.substack.com/p/the-data-death-cycleО том, как помирают дата проекты.В основе статьи лежит довольно простой, но обухом бьющий по голове, список ошибок:- The Tech Trap: когда мы задаем вопрос "Какую проблему может решить эта технология?" вместо поиска проблемы и затем двигаться к технологии- The Doing Trap: когда мы сразу как лего-ниндзяга прыгаем кодить решение, когда на деле нужно было посидеть и сделать дизайн / планирование. Так как кодинг - знакомая нам территория.- The Project Trap: когда мы запланировали "проект" и совершенно не следим за тем, что окружение и задачи могли смениться и нам тоже нужно меняться. Но нет, мы будем дальше долбить спринты на то, чт…

6 days, 8 hours назад @ t.me
Пришло время обновлять Airbyte!https://www.youtube.com/watch?v=cy6S14zv4qoЕще один крупный инструмент на рынке перемещения данных туда-сюда Airbyte получил свою первую мажорную версию 1.0! По ссылке выше - видео-трансляция дня релиза, а все новые фичи опис
Пришло время обновлять Airbyte!https://www.youtube.com/watch?v=cy6S14zv4qoЕще один крупный инструмент на рынке перемещения данных туда-сюда Airbyte получил свою первую мажорную версию 1.0! По ссылке выше - видео-трансляция дня релиза, а все новые фичи опис

Пришло время обновлять Airbyte!https://www.youtube.com/watch?v=cy6S14zv4qoЕще один крупный инструмент на рынке перемещения данных туда-сюда Airbyte получил свою первую мажорную версию 1.0! По ссылке выше - видео-трансляция дня релиза, а все новые фичи описаны тут https://airbyte.com/v1Штук много всяких интересных привезли, но самое интересное для меня - https://airbyte.com/blog/supporting-very-large-cdc-syncs-with-wass Large CDC with WASS и чекпоинты - https://airbyte.com/blog/checkpointing@ohmydataengineer - канал "🕯Труба Данных" который продолжает обновлять инструменты!

1 week назад @ t.me
https://archive.apache.org/dist/spark/spark-4.0.0-preview2/А я помню времена, когда мы всем селом переезжали с Spark 2 на Spark 3, а оно вон как уже - Spark 4 на подходе!Все новые фичи:- видос от Databricks https://www.youtube.com/watch?v=WwVE_be2JuA- их ж
https://archive.apache.org/dist/spark/spark-4.0.0-preview2/А я помню времена, когда мы всем селом переезжали с Spark 2 на Spark 3, а оно вон как уже - Spark 4 на подходе!Все новые фичи:- видос от Databricks https://www.youtube.com/watch?v=WwVE_be2JuA- их ж

https://archive.apache.org/dist/spark/spark-4.0.0-preview2/А я помню времена, когда мы всем селом переезжали с Spark 2 на Spark 3, а оно вон как уже - Spark 4 на подходе!Все новые фичи:- видос от Databricks https://www.youtube.com/watch?v=WwVE_be2JuA- их же слайды (много слайдов) https://drive.google.com/viewerng/viewer?url=https://microsites.databricks.com/sites/default/files/dais/2024/D242404B_2024.06.17.What%25E2%2580%2599s%2520Next%2520for%2520the%2520Upcoming%2520Apache%2520Spark%25204.0_1718511032810001JGNS.pdf@ohmydataengineer - канал "🕯Труба Данных" про ток, как мигрировать данные!

1 week, 2 days назад @ t.me
"ТУТ ДАННЫЕ НЕПРАВИЛЬНЫЕ!"@ohmydataengineer - канал "🕯Труба Данных" про работу с данными
"ТУТ ДАННЫЕ НЕПРАВИЛЬНЫЕ!"@ohmydataengineer - канал "🕯Труба Данных" про работу с данными "ТУТ ДАННЫЕ НЕПРАВИЛЬНЫЕ!"@ohmydataengineer - канал "🕯Труба Данных" про работу с данными

"ТУТ ДАННЫЕ НЕПРАВИЛЬНЫЕ!"@ohmydataengineer - канал "🕯Труба Данных" про работу с данными

1 week, 3 days назад @ t.me
https://clickhouse.com/blog/clickhouse-release-24-08И в продолжении темы Clickhouse, последний релиз принес прям очень хорошую фичу - JSON as native type.По ссылке - релиз-ноуты с примерами@ohmydataengineer - канал "🕯Труба Данных" про работу с данными
https://clickhouse.com/blog/clickhouse-release-24-08И в продолжении темы Clickhouse, последний релиз принес прям очень хорошую фичу - JSON as native type.По ссылке - релиз-ноуты с примерами@ohmydataengineer - канал "🕯Труба Данных" про работу с данными

https://clickhouse.com/blog/clickhouse-release-24-08И в продолжении темы Clickhouse, последний релиз принес прям очень хорошую фичу - JSON as native type.По ссылке - релиз-ноуты с примерами@ohmydataengineer - канал "🕯Труба Данных" про работу с данными

1 week, 5 days назад @ t.me
https://vutr.substack.com/p/how-clickhouse-built-their-internalОдна из технологий, с которой я очень люблю работать - Clickhouse. О том, как сам Clickhouse строит у себя DWH - по ссылке в статье.Все очень просто: CH, S3, Airflow, Superset и никаких дата во
https://vutr.substack.com/p/how-clickhouse-built-their-internalОдна из технологий, с которой я очень люблю работать - Clickhouse. О том, как сам Clickhouse строит у себя DWH - по ссылке в статье.Все очень просто: CH, S3, Airflow, Superset и никаких дата во

https://vutr.substack.com/p/how-clickhouse-built-their-internalОдна из технологий, с которой я очень люблю работать - Clickhouse. О том, как сам Clickhouse строит у себя DWH - по ссылке в статье.Все очень просто: CH, S3, Airflow, Superset и никаких дата волтов.@ohmydataengineer - канал "🕯Труба Данных" про работу с данными

2 weeks назад @ t.me
true story...@ohmydataengineer
true story...@ohmydataengineer true story...@ohmydataengineer

true story...@ohmydataengineer

3 weeks, 3 days назад @ t.me
https://xuanwo.io/2024/07-rewrite-bigdata-in-rustТред "Rust все заменит в DE" продолжает существовать и если ну уж очень интересно, вот небольшая подборка DE-related тулзов и библиотек, написанных на Rust.Из самого интересного это Apache DataFusion и daft@
https://xuanwo.io/2024/07-rewrite-bigdata-in-rustТред "Rust все заменит в DE" продолжает существовать и если ну уж очень интересно, вот небольшая подборка DE-related тулзов и библиотек, написанных на Rust.Из самого интересного это Apache DataFusion и daft@

https://xuanwo.io/2024/07-rewrite-bigdata-in-rustТред "Rust все заменит в DE" продолжает существовать и если ну уж очень интересно, вот небольшая подборка DE-related тулзов и библиотек, написанных на Rust.Из самого интересного это Apache DataFusion и daft@ohmydataengineer

4 weeks назад @ t.me
Почему это такая правда?@ohmydataengineer
Почему это такая правда?@ohmydataengineer Почему это такая правда?@ohmydataengineer

Почему это такая правда?@ohmydataengineer

1 month назад @ t.me
А давайте мы дата инженеров в каждую команду сделаем!@ohmydataengineer
А давайте мы дата инженеров в каждую команду сделаем!@ohmydataengineer А давайте мы дата инженеров в каждую команду сделаем!@ohmydataengineer

А давайте мы дата инженеров в каждую команду сделаем!@ohmydataengineer

1 month, 1 week назад @ t.me
enthusiastech enthusiastech
последний пост 7 months, 2 weeks назад
Data Apps Design pinned «Блог переехал 🌐 @data_apps»
Data Apps Design pinned «Блог переехал 🌐 @data_apps»

Data Apps Design pinned «Блог переехал 🌐 @data_apps»

7 months, 2 weeks назад @ t.me
Блог переехал 🌐 @data_apps
Блог переехал 🌐 @data_apps

Блог переехал 🌐 @data_apps

7 months, 2 weeks назад @ t.me
Channel name was changed to «Data Apps Design»
Channel name was changed to «Data Apps Design»

Channel name was changed to «Data Apps Design»

7 months, 2 weeks назад @ t.me
Channel name was changed to «data_apps»
Channel name was changed to «data_apps»

Channel name was changed to «data_apps»

7 months, 3 weeks назад @ t.me
✅ Как выбрать СУБД для аналитики? Мой список критериев для выбора Analytics Database🔵Performance and Scalability— Работа в периоды пиковых нагрузок (одновременные запросы от EL + dbt + BI + analysts)— Поддержка масштабируемости и scaling— Насколько адекват
✅ Как выбрать СУБД для аналитики? Мой список критериев для выбора Analytics Database🔵Performance and Scalability— Работа в периоды пиковых нагрузок (одновременные запросы от EL + dbt + BI + analysts)— Поддержка масштабируемости и scaling— Насколько адекват

✅ Как выбрать СУБД для аналитики? Мой список критериев для выбора Analytics Database🔵Performance and Scalability— Работа в периоды пиковых нагрузок (одновременные запросы от EL + dbt + BI + analysts)— Поддержка масштабируемости и scaling— Насколько адекватно время ответа на запросы (от простых select * from table limit 10 до сложных дашбордов)🔵Feature support— Поддержка semi-structured data (nested JSONs, MongoDB, event tracking)— Geospatial: GEO-joins (ST_Intersects), H3 library for geo-indexing— Адекватная поддержка Window functions (+ Qualify)— Простое создание окружений (Zero copy clone - DEV, TEST sandboxes)— Time travel, restore deleted data (UNDROP)🔵Security— PRIVILEGES management (r…

8 months, 1 week назад @ t.me
Как выбрать СУБД для аналитики?Привет! Предположим, что у вас есть:🟢 Целостное понимание потребностей бизнесаВключая требования к производительности, времени отклика, безопасности данных, перечень ключевых метрик (показателей) и формулы их расчета, и т.д.🟢
Как выбрать СУБД для аналитики?Привет! Предположим, что у вас есть:🟢 Целостное понимание потребностей бизнесаВключая требования к производительности, времени отклика, безопасности данных, перечень ключевых метрик (показателей) и формулы их расчета, и т.д.🟢

Как выбрать СУБД для аналитики?Привет! Предположим, что у вас есть:🟢 Целостное понимание потребностей бизнесаВключая требования к производительности, времени отклика, безопасности данных, перечень ключевых метрик (показателей) и формулы их расчета, и т.д.🟢 Возможность предлагать и оценивать альтернативные СУБД для решения задач бизнесаОбъективно, в заданных условиях, некоторые СУБД способны справляться значительно лучше других. Иначе говоря, имеют конкурентные преимущества.К сожалению, во многих случаях решение о том, какую СУБД использовать уже принято и не подлежит пересмотру: кем-то когда-то давно до вас по принципу "я работал с этим 5 лет назад", "у нас с ними партнерские отношения", "в…

8 months, 1 week назад @ t.me
👑 Особенности работы с External Data (на примере обменных курсов валют)⬜️Бизнес-задача:— Операции с контрагентами совершаются в около 15 разных валют— Есть необходимость пересчета финансовых показателей в разные валюты для отчетности— Обменные курсы актуал
👑 Особенности работы с External Data (на примере обменных курсов валют)⬜️Бизнес-задача:— Операции с контрагентами совершаются в около 15 разных валют— Есть необходимость пересчета финансовых показателей в разные валюты для отчетности— Обменные курсы актуал

👑 Особенности работы с External Data (на примере обменных курсов валют)⬜️Бизнес-задача:— Операции с контрагентами совершаются в около 15 разных валют— Есть необходимость пересчета финансовых показателей в разные валюты для отчетности— Обменные курсы актуальны на каждую отдельную дату (курс меняется)⬜️ Реализация:— Используется поставщик данных и его API (для примера это Open Exchange Rates)— Ежедневно несколько раз в течение дня (раз в 3 часа) делаются запросы на получение обменных курсов к каждой из 15 валют (Airflow)— Ответы в виде JSON сохраняются AS IS в S3 / Object storage— Эти файлы читаются на стороне DWH и формируется витрина обменных курсов (пар) в разрезе базовой валюты и даты⬜️ К…

8 months, 2 weeks назад @ t.me
Business Intelligence 101: Всё самое важное о BI инструментах🔸 Ключевые идеи BI— BI - это набор методов и инструментов для бизнес-анализа— BI упрощает доступ к данным в DWH— BI бесполезен без DWH (без данных бесполезны визуализации)— SQL по-прежнему актуал
Business Intelligence 101: Всё самое важное о BI инструментах🔸 Ключевые идеи BI— BI - это набор методов и инструментов для бизнес-анализа— BI упрощает доступ к данным в DWH— BI бесполезен без DWH (без данных бесполезны визуализации)— SQL по-прежнему актуал

Business Intelligence 101: Всё самое важное о BI инструментах🔸 Ключевые идеи BI— BI - это набор методов и инструментов для бизнес-анализа— BI упрощает доступ к данным в DWH— BI бесполезен без DWH (без данных бесполезны визуализации)— SQL по-прежнему актуален🔸 Основные возможности (features) BI— Семантическая модель: сущности, связи, формулы расчета метрик и правила агрегации— Визуальный конструктор запросов— Формирование информационных панелей (dashboards)— Публикация (sharing), рассылки, уведомления и алерты🔸 Варианты развертывания— SaaS / Managed app (Datalens)— Self-hosted (Metabase)— Hybrid (Superset / Preset)🔸 Администрирование— Production checklist (отказоустойчивость, надежность, мас…

8 months, 3 weeks назад @ t.me
🤯 Нерелевантные, демотивирующие и бессмысленные задачи🔻 Излишне затянувшееся общение с вендорами и провайдерами сервисовКак инженер - я должен сравнить, протестировать и выбрать самое релевантное решение в заданных условиях. Я даю заключение, какой сервис,
🤯 Нерелевантные, демотивирующие и бессмысленные задачи🔻 Излишне затянувшееся общение с вендорами и провайдерами сервисовКак инженер - я должен сравнить, протестировать и выбрать самое релевантное решение в заданных условиях. Я даю заключение, какой сервис,

🤯 Нерелевантные, демотивирующие и бессмысленные задачи🔻 Излишне затянувшееся общение с вендорами и провайдерами сервисовКак инженер - я должен сравнить, протестировать и выбрать самое релевантное решение в заданных условиях. Я даю заключение, какой сервис, с какими квотами и услугами необходим для решения задач.Дальнейшие шаги - переговоры, бумажные (электронные) процессы, согласования, подписания, оплаты, инвойсинг, юридические проверки и т.д. - это не относится к инженерной работе, этим должны заниматься все, кроме инженера.🔻 Взаимодействие с пользователями, которым леньКоманда аналитики делает всё, чтобы пользователям было просто и удобно находить ответы на свои вопросы:— Self-service BI…

8 months, 4 weeks назад @ t.me
😵‍💫 Нерелевантные, демотивирующие и бессмысленные задачиДавайте поговорим про раздражающие и отвлекающие факторы в работе.Вчера у меня возникла ситуация:Amazon Redshift ночью автоматически обновился на свежий релиз, что привело к ошибкам в расчетах (dbt),
😵‍💫 Нерелевантные, демотивирующие и бессмысленные задачиДавайте поговорим про раздражающие и отвлекающие факторы в работе.Вчера у меня возникла ситуация:Amazon Redshift ночью автоматически обновился на свежий релиз, что привело к ошибкам в расчетах (dbt),

😵‍💫 Нерелевантные, демотивирующие и бессмысленные задачиДавайте поговорим про раздражающие и отвлекающие факторы в работе.Вчера у меня возникла ситуация:Amazon Redshift ночью автоматически обновился на свежий релиз, что привело к ошибкам в расчетах (dbt), и проблемам с отчетностью (Looker). Ряд самых важных дашбордов перестал работать (пусто, либо ERROR SQL Query). Бизнес-пользователи сообщают о проблемах и ждут исправления.Я потратил около 4-5 часов на поиск и локализацию проблемы, её исправление (rollback, upgrade, чуть не дошло до restore from backup) и проверки (что-то продолжаю делать и сейчас).В это время команда из 6 человек (Finance & Accounting) пишет письма с просьбой найти и высл…

8 months, 4 weeks назад @ t.me
🏆 Удержать стоимость SaaS ELT на уровне $13K / year вместо повышения цены в 2,35 раза В компании для интеграции данных я использую SaaS ELT решение от вендора Hevo Data. Еще в начале 2020 году я провел сравнительный анализ и proof of concept среди основных
🏆 Удержать стоимость SaaS ELT на уровне $13K / year вместо повышения цены в 2,35 раза В компании для интеграции данных я использую SaaS ELT решение от вендора Hevo Data. Еще в начале 2020 году я провел сравнительный анализ и proof of concept среди основных

🏆 Удержать стоимость SaaS ELT на уровне $13K / year вместо повышения цены в 2,35 раза В компании для интеграции данных я использую SaaS ELT решение от вендора Hevo Data. Еще в начале 2020 году я провел сравнительный анализ и proof of concept среди основных игроков на рынке в поисках подходящего решения.В финале оказались Hevo и Fivetran. Hevo победил по ряду критериев, в том числе по стоимости (total cost of ownership).Коротко, мой сетап:— 1 Destination connector (sync каждые 15 минут)— 10 Source connectors (самые важные: MongoDB, Postgres, Event stream)— 500M events / monthНачиная с 2020 года стоимость сервиса составляла $12K в год с платежами раз в квартал. На мой взгляд, это отличная сто…

9 months назад @ t.me
🌟 Привет, друзья!С наступающим Новым Годом!Обещаю радовать вас и развиваться. В новом году я планирую:— Делать больше обзоров Data Tools и Инструментов, сравнивать их и делать выводы— Создавать новый обучающий и полезный для каждого контент— Активизировать
🌟 Привет, друзья!С наступающим Новым Годом!Обещаю радовать вас и развиваться. В новом году я планирую:— Делать больше обзоров Data Tools и Инструментов, сравнивать их и делать выводы— Создавать новый обучающий и полезный для каждого контент— Активизировать

🌟 Привет, друзья!С наступающим Новым Годом!Обещаю радовать вас и развиваться. В новом году я планирую:— Делать больше обзоров Data Tools и Инструментов, сравнивать их и делать выводы— Создавать новый обучающий и полезный для каждого контент— Активизироваться на YouTube с онлайн-стримами по интересным темам и короткими кастами— Систематизировать накопленные в канале знания, добавить навигацию и хэштеги— Писать review на новые (и не очень) книги, интернет-публикации и самые интересные Data-события— Запустить email-рассылкуЖелаю всем уютно отметить в кругу близких и друзей, помечтать как следует, и полными сил вступить в новое путешествие в наступающем году! 🥳До связи,Артемий🥳🥳🥳

9 months, 1 week назад @ t.me
Всем привет, мы собрали небольшую подборку каналов/групп, которые могут быть полезны интересующимся данными в Новом 2024 году и хотим поделиться с вами:• @datacoffee — Еженедельный подкаст о данных• @datavizcomics — Комиксы по датавизу, дата-арт и интересн
Всем привет, мы собрали небольшую подборку каналов/групп, которые могут быть полезны интересующимся данными в Новом 2024 году и хотим поделиться с вами:• @datacoffee — Еженедельный подкаст о данных• @datavizcomics — Комиксы по датавизу, дата-арт и интересн

Всем привет, мы собрали небольшую подборку каналов/групп, которые могут быть полезны интересующимся данными в Новом 2024 году и хотим поделиться с вами:• @datacoffee — Еженедельный подкаст о данных• @datavizcomics — Комиксы по датавизу, дата-арт и интересные визуализации• @dbt_users — DBT users group• @enthusiastech — Analytics Engineering + tips & tricks• @ohmydataengineer — Авторский канал обо всем, что происходит в мире работы с данными• @ruairflow — Русскоязычное сообщество Apache AirflowДобавить как папку в Telegram https://t.me/addlist/B5NbcluX5AJiMTFi

9 months, 2 weeks назад @ t.me
👀 Где взять динамический датасет для целей тестирования?Большая часть датасетов и sample databases являются статичными, т.е. представляют из себя снимок. Эти данные не меняются со временем.Мы привыкли изучать такие данные, проводить Exploratory Data Analys
👀 Где взять динамический датасет для целей тестирования?Большая часть датасетов и sample databases являются статичными, т.е. представляют из себя снимок. Эти данные не меняются со временем.Мы привыкли изучать такие данные, проводить Exploratory Data Analys

👀 Где взять динамический датасет для целей тестирования?Большая часть датасетов и sample databases являются статичными, т.е. представляют из себя снимок. Эти данные не меняются со временем.Мы привыкли изучать такие данные, проводить Exploratory Data Analysis, строить дашборды, обучать ML-модели. Удобно пользоваться Sample Tutorials от вендоров и тулов. Awesome Public Datasets, Kaggle, Metabase Sample Database, и даже AdventureWorks - это всё примеры статики.Но ряд задач можно изучать и решать только на динамическом датасете, т.е. тех данных, с которыми происходят мутации в режиме реального времени - INSERT, UPDATE, DELETE:— Online data replication (Change Data Capture)— Streaming tasks: Ana…

9 months, 2 weeks назад @ t.me
☄ Первый стрим для закрытой группы Designing Modern Data AppsУже сегодня 21 декабря в 19:00 — Marketing Analytics❗️ У меня осталось всего несколько местКак это будет выглядеть?— 10 стримов, 2 из них интерактивные Q&A— Живое общение и доступ к ответам н
☄ Первый стрим для закрытой группы Designing Modern Data AppsУже сегодня 21 декабря в 19:00 — Marketing Analytics❗️ У меня осталось всего несколько местКак это будет выглядеть?— 10 стримов, 2 из них интерактивные Q&A— Живое общение и доступ к ответам н ☄ Первый стрим для закрытой группы Designing Modern Data AppsУже сегодня 21 декабря в 19:00 — Marketing Analytics❗️ У меня осталось всего несколько местКак это будет выглядеть?— 10 стримов, 2 из них интерактивные Q&A— Живое общение и доступ к ответам н

☄ Первый стрим для закрытой группы Designing Modern Data AppsУже сегодня 21 декабря в 19:00 — Marketing Analytics❗️ У меня осталось всего несколько местКак это будет выглядеть?— 10 стримов, 2 из них интерактивные Q&A— Живое общение и доступ к ответам на свои вопросы— Единая связная история-кейс (заказчик - требования - архитектура - реализация)— Формат интенсива - сразу к делу, минимум воды, максимум практикиКакие результаты я получу?— Опыт построения аналитических приложений на реальном бизнес-кейсе— Практика с инструментами Modern Data Stack— Записи стримов, слайды, git-репозитории остаются у вас— Возможность претендовать на вакансии с ЗП 300К+Востребованные навыки и практические знания -…

9 months, 3 weeks назад @ t.me
data будни data будни
последний пост 2 months назад
🥴 Reverse ETL — антипаттерн или норм?у меня тут недавно наконец-то сложилась картинка в голове! до этого краем уха слышал этот новый термин, но никак не мог переложить его на реальность. А потом увидел схемку где помимо стандартного направления источник →
🥴 Reverse ETL — антипаттерн или норм?у меня тут недавно наконец-то сложилась картинка в голове! до этого краем уха слышал этот новый термин, но никак не мог переложить его на реальность. А потом увидел схемку где помимо стандартного направления источник →

🥴 Reverse ETL — антипаттерн или норм?у меня тут недавно наконец-то сложилась картинка в голове! до этого краем уха слышал этот новый термин, но никак не мог переложить его на реальность. А потом увидел схемку где помимо стандартного направления источник → двхбыла дополнительная стрелочка:источник → двх → (обратно) источник в итоге понял, что видел уже два таких кейса и пока ощущения смешанные:1) считать бонусы определённому срезу сотрудников. был кейс когда ставка зависит от количества и статуса лидов например (или других штук, которые можно посчитать только в двх)2) сейчас есть задача передавать данные между микросервисами (разные команды): микросервис А производит данные, их сгружаем в ДВ…

2 months назад @ t.me
😱 забанили в LinkedIn случилось страшное! дело было после мобилизации, когда я активно искал работу за бугром. каждый день я стабильно искал дата-вакансии и откликался сначала на интересные, а потом и просто на все более-менее подходящие. Из всех отклико
😱 забанили в LinkedIn случилось страшное! дело было после мобилизации, когда я активно искал работу за бугром. каждый день я стабильно искал дата-вакансии и откликался сначала на интересные, а потом и просто на все более-менее подходящие. Из всех отклико

😱 забанили в LinkedIn случилось страшное! дело было после мобилизации, когда я активно искал работу за бугром. каждый день я стабильно искал дата-вакансии и откликался сначала на интересные, а потом и просто на все более-менее подходящие. Из всех откликов…

2 months назад @ t.me
🎙️сходил на подкаст обсудить кофе и дату↑ не было определённого плана, поэтому мы импровизировали; прошлись по основным этапам: предыдущие подходы к смене карьеры, приход в дата инжиниринг через курс по анализу данных, поэтапную смену компаний, поиск работ
🎙️сходил на подкаст обсудить кофе и дату↑ не было определённого плана, поэтому мы импровизировали; прошлись по основным этапам: предыдущие подходы к смене карьеры, приход в дата инжиниринг через курс по анализу данных, поэтапную смену компаний, поиск работ

🎙️сходил на подкаст обсудить кофе и дату↑ не было определённого плана, поэтому мы импровизировали; прошлись по основным этапам: предыдущие подходы к смене карьеры, приход в дата инжиниринг через курс по анализу данных, поэтапную смену компаний, поиск работы и переезд в Швецию, и как тут у нас живется при победившем дата-меше. в эпизоде упоминали:⌘ доклады Жени Ермакова и Коли Гребенщикова про чудо-DWH в Яндекс GO, благодаря которым я загорелся идеей попасть туда;⌘ на один из предыдущих эпизодов подкаста, где гостем был Игорь Мосягин — поскольку он был в команде дата-платформы, там было много сочных деталей типа админстрирования Редшифта на 2к пользователей и мотивацию к документации.

2 months назад @ t.me
136 (S5E21). Будни дата-инженераВ гостях у подкаста 🎙"Data Coffee" Саша Михайлов, дата инженер ( Telegram⁠, LinkedIn⁠)Обсудили:• кофе• дата инженер• нужен ли CDO для data mesh• карьерный путь• переезд в Швецию• деанон по фитнес-трекеру• детские сады район
136 (S5E21). Будни дата-инженераВ гостях у подкаста 🎙"Data Coffee" Саша Михайлов,  дата инженер ( Telegram⁠, LinkedIn⁠)Обсудили:• кофе• дата инженер• нужен ли CDO для data mesh• карьерный путь• переезд в Швецию• деанон по фитнес-трекеру• детские сады район 136 (S5E21). Будни дата-инженераВ гостях у подкаста 🎙"Data Coffee" Саша Михайлов, дата инженер ( Telegram⁠, LinkedIn⁠)Обсудили:• кофе• дата инженер• нужен ли CDO для data mesh• карьерный путь• переезд в Швецию• деанон по фитнес-трекеру• детские сады район

136 (S5E21). Будни дата-инженераВ гостях у подкаста 🎙"Data Coffee" Саша Михайлов, дата инженер ( Telegram⁠, LinkedIn⁠)Обсудили:• кофе• дата инженер• нужен ли CDO для data mesh• карьерный путь• переезд в Швецию• деанон по фитнес-трекеру• детские сады района• почему дата инженер• pet projects• как развиватьсяСайт: ⁠⁠⁠⁠⁠⁠⁠⁠https://datacoffee.link⁠⁠⁠⁠⁠⁠⁠⁠Telegram: ⁠⁠⁠⁠⁠⁠⁠⁠https://t.me/datacoffee⁠⁠⁠⁠⁠⁠⁠⁠Mastodon: ⁠⁠⁠⁠⁠⁠⁠⁠https://techhub.social/@datacoffee⁠⁠⁠⁠⁠⁠⁠⁠Чат подкаста: ⁠⁠⁠⁠⁠⁠⁠⁠https://t.me/datacoffee_chat⁠#datacoffee #data #podcast #данные #подкаст #кофе #coffee Где слушать🎧:— Бот-плеер— RSS feed — YouTube — Остальные площадки

2 months назад @ t.me
💊 реал биг дата!у меня начинает складываться ощущение, что проблема big data плавно смещается; сначала все боялись этих терабайт данных: как же их хранить, как обрабатывать и искать в них инсайты.сейчас вроде как залить сколько-угодно данных в ваши сноуфле
💊 реал биг дата!у меня начинает складываться ощущение, что проблема big data плавно смещается; сначала все боялись этих терабайт данных: как же их хранить, как обрабатывать и искать в них инсайты.сейчас вроде как залить сколько-угодно данных в ваши сноуфле 💊 реал биг дата!у меня начинает складываться ощущение, что проблема big data плавно смещается; сначала все боялись этих терабайт данных: как же их хранить, как обрабатывать и искать в них инсайты.сейчас вроде как залить сколько-угодно данных в ваши сноуфле

💊 реал биг дата!у меня начинает складываться ощущение, что проблема big data плавно смещается; сначала все боялись этих терабайт данных: как же их хранить, как обрабатывать и искать в них инсайты.сейчас вроде как залить сколько-угодно данных в ваши сноуфлейки с датабриксами уже научились. если что, просто докинуть чуток компьюта — ведь если удалось накопить столько данных, то где-то рядом должен быть и бюджет на их перекладывание.теперь же встала другая проблема — среди этих десятков тысяч залитых и нагенерированных сущностей найти ту самую! × как посчитать активных юзеров за прошлый месяц?× как узнать сколько было возвратов?× как понять сколько бизнес заработал? (или потерял!)если спросить…

2 months, 1 week назад @ t.me
🛠️ Musk Engineering Algorithm читаю биографию Илона Маска, нахожу любопытным его подходИлона часто сравнивают со Стивом Джобсом: основатели культовых компаний, визионеры-провидцы, дотошные менеджеры, и оба в жизни что называется assholeв жизни Джобса был п
🛠️ Musk Engineering Algorithm читаю биографию Илона Маска, нахожу любопытным его подходИлона часто сравнивают со Стивом Джобсом: основатели культовых компаний, визионеры-провидцы, дотошные менеджеры, и оба в жизни что называется assholeв жизни Джобса был п

🛠️ Musk Engineering Algorithm читаю биографию Илона Маска, нахожу любопытным его подходИлона часто сравнивают со Стивом Джобсом: основатели культовых компаний, визионеры-провидцы, дотошные менеджеры, и оба в жизни что называется assholeв жизни Джобса был период, когда он управлял двумя компаниями одновременно: Apple и Pixar. Днём накручивал хвосты дизайнерам в Купертино, а после мчал на встречи с командой в Пиксаре. Есть версия, что именно этот период подкосил его здоровье, что в итоге способствовало развитию рака.не умалая достижений Джобса, Маск — это какой-то следующий уровень: управлять не двумя, а уже шестью семью компаниями одновременно. SpaceX, Tesla, Solar Roof, Neuralink, StarLink,…

2 months, 2 weeks назад @ t.me
🍎 Andy Pavlo & Amazon Redshiftа теперь к деталям: в Кларне — AWS, поэтому хранилище тут на Redshift. для знакомства с технологией посмотрел соответствующую серию из курса:https://youtu.be/T9-MM8oHzsM⌘⌘⌘в нулевых было несколько проектов по параллелизаци
🍎 Andy Pavlo & Amazon Redshiftа теперь к деталям: в Кларне — AWS, поэтому хранилище тут на Redshift. для знакомства с технологией посмотрел соответствующую серию из курса:https://youtu.be/T9-MM8oHzsM⌘⌘⌘в нулевых было несколько проектов по параллелизаци

🍎 Andy Pavlo & Amazon Redshiftа теперь к деталям: в Кларне — AWS, поэтому хранилище тут на Redshift. для знакомства с технологией посмотрел соответствующую серию из курса:https://youtu.be/T9-MM8oHzsM⌘⌘⌘в нулевых было несколько проектов по параллелизации Постгреса и к 2010 оставался только один, который не купили. В 2010 Амазон решила порядочно сэкономить: вместо покупки целого стартапа, они просто в него инвестировали. Это позволило ей получить лицензию на сам код.→ в 2013 выходит Redshift как продукт→ в 2016 запускается Athena — доступ через SQL к данным на S3 (типа как Hive, да?)→ в 2017 добавляется Spectrum — Redshift может напрямую читать данные с S3 без предварительного инджеста данных…

2 months, 3 weeks назад @ t.me
⚾ Andy Pavloменя покусал библиотекарь, поэтому перед тем как ввести новое действующее лицо, дам ссылку на общеизвестный факт. имя Andy Pavlo у меня прочно ассоциируется с базами данных: Andy = databases, databases = Andyу него есть открытый каталог всех ба
⚾ Andy Pavloменя покусал библиотекарь, поэтому перед тем как ввести новое действующее лицо, дам ссылку на общеизвестный факт. имя Andy Pavlo у меня прочно ассоциируется с базами данных: Andy = databases, databases = Andyу него есть открытый каталог всех ба ⚾ Andy Pavloменя покусал библиотекарь, поэтому перед тем как ввести новое действующее лицо, дам ссылку на общеизвестный факт. имя Andy Pavlo у меня прочно ассоциируется с базами данных: Andy = databases, databases = Andyу него есть открытый каталог всех ба

⚾ Andy Pavloменя покусал библиотекарь, поэтому перед тем как ввести новое действующее лицо, дам ссылку на общеизвестный факт. имя Andy Pavlo у меня прочно ассоциируется с базами данных: Andy = databases, databases = Andyу него есть открытый каталог всех баз данных, где уже есть ссылки на 998 (!) штукhttps://dbdb.io/ещё у него есть был стартап, который помогает тюнить клиентские базы данных с помощью мл: моделька на основе метаданных подкручивает настройки вашего постгреса в цикле с обратной связью. сами данные она не видит.https://ottertune.com/и, видимо, для души (и будущих клиентов и сотрудников), он ведёт курс по базам данных в университете CMUнесмотря на то, что курс офлайн в обычном ки…

2 months, 3 weeks назад @ t.me
🔍 Data Observabilityв Кларне наша команда отвечает за мониторинг монетизации партнёрского трафика. Данные получаем от affiliate networks (на русский вики предлагает перевод как «сеть партнёрских программ»). Сети передают данные по API (в основном).казалось
🔍 Data Observabilityв Кларне наша команда отвечает за мониторинг монетизации партнёрского трафика. Данные получаем от affiliate networks (на русский вики предлагает перевод как «сеть партнёрских программ»). Сети передают данные по API (в основном).казалось 🔍 Data Observabilityв Кларне наша команда отвечает за мониторинг монетизации партнёрского трафика. Данные получаем от affiliate networks (на русский вики предлагает перевод как «сеть партнёрских программ»). Сети передают данные по API (в основном).казалось

🔍 Data Observabilityв Кларне наша команда отвечает за мониторинг монетизации партнёрского трафика. Данные получаем от affiliate networks (на русский вики предлагает перевод как «сеть партнёрских программ»). Сети передают данные по API (в основном).казалось бы, тривиальная задача — взять данные из АПИ и положить их в базу. В целом так! но есть ньюанс >_>когда команда начиналась, была одна сеть. Потом добавилась ещё пара. Через какое-то время клиенты начали просить добавить «ещё одну». Спустя несколько лет мы имеем 20+ сетей, к каждой свой коннектор и бегущие джобы.в плохой день, открыв утром чат с алертами, можно найти простыню из ошибок: несколько джобов ночью падало, сколько-то потом отпус…

2 months, 3 weeks назад @ t.me
🙅 no more* AI * вольный перефраз оригинального заголовка https://ludic.mataroa.blog/blog/i-will-fucking-piledrive-you-if-you-mention-ai-again/ коллега скинул отрезвляющую и фомо-утоляющую статейку (спасибо, Игорь!) ключевая мысль статьи — «вам не нужен…
🙅 no more* AI * вольный перефраз оригинального заголовка https://ludic.mataroa.blog/blog/i-will-fucking-piledrive-you-if-you-mention-ai-again/ коллега скинул отрезвляющую и фомо-утоляющую статейку (спасибо, Игорь!) ключевая мысль статьи — «вам не нужен…

🙅 no more* AI * вольный перефраз оригинального заголовка https://ludic.mataroa.blog/blog/i-will-fucking-piledrive-you-if-you-mention-ai-again/ коллега скинул отрезвляющую и фомо-утоляющую статейку (спасибо, Игорь!) ключевая мысль статьи — «вам не нужен…

2 months, 3 weeks назад @ t.me
🙅 no more* AI* вольный перефраз оригинального заголовкаhttps://ludic.mataroa.blog/blog/i-will-fucking-piledrive-you-if-you-mention-ai-again/коллега скинул отрезвляющую и фомо-утоляющую статейку (спасибо, Игорь!)ключевая мысль статьи — «вам не нужен AI толь
🙅 no more* AI* вольный перефраз оригинального заголовкаhttps://ludic.mataroa.blog/blog/i-will-fucking-piledrive-you-if-you-mention-ai-again/коллега скинул отрезвляющую и фомо-утоляющую статейку (спасибо, Игорь!)ключевая мысль статьи — «вам не нужен AI толь

🙅 no more* AI* вольный перефраз оригинального заголовкаhttps://ludic.mataroa.blog/blog/i-will-fucking-piledrive-you-if-you-mention-ai-again/коллега скинул отрезвляющую и фомо-утоляющую статейку (спасибо, Игорь!)ключевая мысль статьи — «вам не нужен AI только если вы не ресёрсч лаборатория» — звучит очень свежей посреди этого аи-хайпа вокруг⌘⌘⌘вашей компании не нужен AI! скорее всего в ваших продуктах уже достаточно аи: ваш антивирус сканирует файлы, фаерволл определеяет подозрительные по аномалиям (а почта исправно фильтрует спам)ведь по факту получается, что вы тащите в свой прод экспериментальную (!) технологию с недетерменированным выводом (!!), в которой у вас нет экспертизы (!!!) и вы …

2 months, 3 weeks назад @ t.me
👷 решения из реального мираодин из источников данных для нашей команды — внешние API. Каждый день мы запрашиваем новые данные и иногда пере-запрашиваем исторические.и вот внезапно в одном источнике упёрлись в лимит запросов. джоба падает с ошибкой, лаг в д
👷 решения из реального мираодин из источников данных для нашей команды — внешние API. Каждый день мы запрашиваем новые данные и иногда пере-запрашиваем исторические.и вот внезапно в одном источнике упёрлись в лимит запросов. джоба падает с ошибкой, лаг в д

👷 решения из реального мираодин из источников данных для нашей команды — внешние API. Каждый день мы запрашиваем новые данные и иногда пере-запрашиваем исторические.и вот внезапно в одном источнике упёрлись в лимит запросов. джоба падает с ошибкой, лаг в данных растёт, скоро начнутся вопросики от потребителей.собрались мы, значит, и стали думать как такого избегать.чисто по-инженерски тут же начали предлагать написать какую-нибудь лямбду, чтобы она каждый день ходила в апи и спрашивала сколько осталось до лимита. Ответ будем слать в датадог, где настроим алерты по порогам. Красота!… но лямдбу-то надо ещё написать, плюс она будет сама по себе отжирать из тех же лимитов на запросы. А потом вс…

2 months, 4 weeks назад @ t.me
😱 етл-таски в очереди по ~23 часав Яндекс Го была довольно стандартная (да ведь?) дата-архитектура: были дата-лейк на YT и DWH на Greenplum. Вначале все данные попадали в лейк, там как-то предобрабатывалось и потом можно было залить в GP для всяких там джо
😱 етл-таски в очереди по ~23 часав Яндекс Го была довольно стандартная (да ведь?) дата-архитектура: были дата-лейк на YT и DWH на Greenplum. Вначале все данные попадали в лейк, там как-то предобрабатывалось и потом можно было залить в GP для всяких там джо

😱 етл-таски в очереди по ~23 часав Яндекс Го была довольно стандартная (да ведь?) дата-архитектура: были дата-лейк на YT и DWH на Greenplum. Вначале все данные попадали в лейк, там как-то предобрабатывалось и потом можно было залить в GP для всяких там джойнов и прочих оптимальных доступов.Два наблюдения:- между YT и GP случались заторы — данные туда-сюда заливались немаленькие и задача перекладывания джейсонов между базами довольно нетривиальная- одного не самого инженера могло быть достаточно, чтобы сделать GP плохо ( :wave: ) — как-то ко мне пришёл наш ДБА и попросил засунуть в остановить свой запрос и немного его оптимизировать перед следующим запуском⌘⌘⌘Проблема, видимо, распространённ…

3 months назад @ t.me
🍅 middle →→→ seniorhttps://seattledataguy.substack.com/p/how-to-grow-from-mid-level-to-seniory Seattle Data Guy гостевой пост про то с какой стороны подходить к прыжку от мидла к синьору. Резонирует с тем что я вижу вокруг и как представляю свой путь в сто
🍅 middle →→→ seniorhttps://seattledataguy.substack.com/p/how-to-grow-from-mid-level-to-seniory Seattle Data Guy гостевой пост про то с какой стороны подходить к прыжку от мидла к синьору. Резонирует с тем что я вижу вокруг и как представляю свой путь в сто

🍅 middle →→→ seniorhttps://seattledataguy.substack.com/p/how-to-grow-from-mid-level-to-seniory Seattle Data Guy гостевой пост про то с какой стороны подходить к прыжку от мидла к синьору. Резонирует с тем что я вижу вокруг и как представляю свой путь в сторону помидорства⌘⌘⌘в первую очередь от синьора ожидают, что он автономно решает проблемы — от предложения рабочего решения до его имплементации, включая переговоры (!) с нужными сторонами и развитие коллег✓ непрекращающееся развитие — всегда готов научиться чему-то новому и рассказать об интересном ✓ действительно крутые штуки делаются вместе, поэтому развитие команды — ключевая необходимость→ направления на подумать: вдумчивые и развивающ…

4 months, 1 week назад @ t.me
😱 забанили в LinkedInслучилось страшное! дело было после мобилизации, когда я активно искал работу за бугром.каждый день я стабильно искал дата-вакансии и откликался сначала на интересные, а потом и просто на все более-менее подходящие. Из всех откликов на
😱 забанили в LinkedInслучилось страшное! дело было после мобилизации, когда я активно искал работу за бугром.каждый день я стабильно искал дата-вакансии и откликался сначала на интересные, а потом и просто на все более-менее подходящие. Из всех откликов на

😱 забанили в LinkedInслучилось страшное! дело было после мобилизации, когда я активно искал работу за бугром.каждый день я стабильно искал дата-вакансии и откликался сначала на интересные, а потом и просто на все более-менее подходящие. Из всех откликов на мои холодные запросы так никто и не ответил — оно и понятно, в те месяцы у них кажется был особо большой наплыв соискателей.однажды, зайдя в линкедин, я увидел просьбу подтвердить свою личность. Прислав им в форму скан паспорта (О_о), они обещали ответить в ближайшее время. Спустя сколько-то дней пришло письмо, что «ваш аккаунт заблокирован по причине нарушений правил»от неожиданность я растерялся, но всё же попросил их уточнить что за пр…

4 months, 1 week назад @ t.me
под капотом Яндекс.Такси под капотом Яндекс.Такси
последний пост None
🎧 Podcasts
Data Engineering Podcast Data Engineering Podcast
последний пост 3 months, 1 week назад
Improve Data Quality Through Engineering Rigor And Business Engagement With Synq
Improve Data Quality Through Engineering Rigor And Business Engagement With Synq

Summary

This episode features an insightful conversation with Petr Janda, the CEO and founder of Synq. Petr shares his journey from being an engineer to founding Synq, emphasizing the importance of treating data systems with the same rigor as engineering systems. He discusses the challenges and solutions in data reliability, including the need for transparency and ownership in data systems. Synq's platform helps data teams manage incidents, understand data dependencies, and ensure data quality by providing insights and automation capabilities. Petr emphasizes the need for a holistic approach to data reliability, integrating data systems into broader business processes. He highlights the rol…

3 months, 1 week назад @ dataengineeringpodcast.com
Stitching Together Enterprise Analytics With Microsoft Fabric
Stitching Together Enterprise Analytics With Microsoft Fabric

Summary

Data lakehouse architectures have been gaining significant adoption. To accelerate adoption in the enterprise Microsoft has created the Fabric platform, based on their OneLake architecture. In this episode Dipti Borkar shares her experiences working on the product team at Fabric and explains the various use cases for the Fabric service.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Data lakes are notoriously complex. For data engineers who battle to build and scale high quality data workflows on the data lake, Starburst is an end-to-end data lakehouse platform built on Trino, the query engine Apache Iceberg was designed for, w…

3 months, 2 weeks назад @ dataengineeringpodcast.com
Being Data Driven At Stripe With Trino And Iceberg
Being Data Driven At Stripe With Trino And Iceberg

Summary

Stripe is a company that relies on data to power their products and business. To support that functionality they have invested in Trino and Iceberg for their analytical workloads. In this episode Kevin Liu shares some of the interesting features that they have built by combining those technologies, as well as the challenges that they face in supporting the myriad workloads that are thrown at this layer of their data platform.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Data lakes are notoriously complex. For data engineers who battle to build and scale high quality data workflows on the data lake, Starburst is an end-to-end …

3 months, 3 weeks назад @ dataengineeringpodcast.com
X-Ray Vision For Your Flink Stream Processing With Datorios
X-Ray Vision For Your Flink Stream Processing With Datorios

Summary

Streaming data processing enables new categories of data products and analytics. Unfortunately, reasoning about stream processing engines is complex and lacks sufficient tooling. To address this shortcoming Datorios created an observability platform for Flink that brings visibility to the internals of this popular stream processing system. In this episode Ronen Korman and Stav Elkayam discuss how the increased understanding provided by purpose built observability improves the usefulness of Flink.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

This episode is supported by Code Comments, an original podcast from Red Hat. As someo…

3 months, 4 weeks назад @ dataengineeringpodcast.com
Practical First Steps In Data Governance For Long Term Success
Practical First Steps In Data Governance For Long Term Success

Summary

Modern businesses aspire to be data driven, and technologists enjoy working through the challenge of building data systems to support that goal. Data governance is the binding force between these two parts of the organization. Nicola Askham found her way into data governance by accident, and stayed because of the benefit that she was able to provide by serving as a bridge between the technology and business. In this episode she shares the practical steps to implementing a data governance practice in your organization, and the pitfalls to avoid.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Data lakes are notoriously complex. F…

4 months назад @ dataengineeringpodcast.com
Data Migration Strategies For Large Scale Systems
Data Migration Strategies For Large Scale Systems

Summary

Any software system that survives long enough will require some form of migration or evolution. When that system is responsible for the data layer the process becomes more challenging. Sriram Panyam has been involved in several projects that required migration of large volumes of data in high traffic environments. In this episode he shares some of the valuable lessons that he learned about how to make those projects successful.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Data lakes are notoriously complex. For data engineers who battle to build and scale high quality data workflows on the data lake, Starburst is an end-to-en…

4 months, 1 week назад @ dataengineeringpodcast.com
Zenlytic Is Building You A Better Coworker With AI Agents
Zenlytic Is Building You A Better Coworker With AI Agents

Summary

The purpose of business intelligence systems is to allow anyone in the business to access and decode data to help them make informed decisions. Unfortunately this often turns into an exercise in frustration for everyone involved due to complex workflows and hard-to-understand dashboards. The team at Zenlytic have leaned on the promise of large language models to build an AI agent that lets you converse with your data. In this episode they share their journey through the fast-moving landscape of generative AI and unpack the difference between an AI chatbot and an AI agent.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

This epis…

4 months, 3 weeks назад @ dataengineeringpodcast.com
Release Management For Data Platform Services And Logic
Release Management For Data Platform Services And Logic

Summary

Building a data platform is a substrantial engineering endeavor. Once it is running, the next challenge is figuring out how to address release management for all of the different component parts. The services and systems need to be kept up to date, but so does the code that controls their behavior. In this episode your host Tobias Macey reflects on his current challenges in this area and some of the factors that contribute to the complexity of the problem.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

This episode is supported by Code Comments, an original podcast from Red Hat. As someone who listens to the Data Engineering Po…

4 months, 3 weeks назад @ dataengineeringpodcast.com
Barking Up The Wrong GPTree: Building Better AI With A Cognitive Approach
Barking Up The Wrong GPTree: Building Better AI With A Cognitive Approach

Summary

Artificial intelligence has dominated the headlines for several months due to the successes of large language models. This has prompted numerous debates about the possibility of, and timeline for, artificial general intelligence (AGI). Peter Voss has dedicated decades of his life to the pursuit of truly intelligent software through the approach of cognitive AI. In this episode he explains his approach to building AI in a more human-like fashion and the emphasis on learning rather than statistical prediction.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Dagster offers a new approach to building and running data platforms and d…

5 months назад @ dataengineeringpodcast.com
Build Your Second Brain One Piece At A Time
Build Your Second Brain One Piece At A Time

Summary

Generative AI promises to accelerate the productivity of human collaborators. Currently the primary way of working with these tools is through a conversational prompt, which is often cumbersome and unwieldy. In order to simplify the integration of AI capabilities into developer workflows Tsavo Knott helped create Pieces, a powerful collection of tools that complements the tools that developers already use. In this episode he explains the data collection and preparation process, the collection of model types and sizes that work together to power the experience, and how to incorporate it into your workflow to act as a second brain.

Announcements

Hello and welcome to the Data Engineeri…

5 months, 1 week назад @ dataengineeringpodcast.com
Making Email Better With AI At Shortwave
Making Email Better With AI At Shortwave

Summary

Generative AI has rapidly transformed everything in the technology sector. When Andrew Lee started work on Shortwave he was focused on making email more productive. When AI started gaining adoption he realized that he had even more potential for a transformative experience. In this episode he shares the technical challenges that he and his team have overcome in integrating AI into their product, as well as the benefits and features that it provides to their customers.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Dagster offers a new approach to building and running data platforms and data pipelines. It is an open-source, clou…

5 months, 2 weeks назад @ dataengineeringpodcast.com
Designing A Non-Relational Database Engine
Designing A Non-Relational Database Engine

Summary

Databases come in a variety of formats for different use cases. The default association with the term "database" is relational engines, but non-relational engines are also used quite widely. In this episode Oren Eini, CEO and creator of RavenDB, explores the nuances of relational vs. non-relational engines, and the strategies for designing a non-relational database.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

This episode is brought to you by Datafold – a testing automation platform for data engineers that prevents data quality issues from entering every part of your data workflow, from migration to dbt deployment. Datafold …

5 months, 3 weeks назад @ dataengineeringpodcast.com
Establish A Single Source Of Truth For Your Data Consumers With A Semantic Layer
Establish A Single Source Of Truth For Your Data Consumers With A Semantic Layer

Summary

Maintaining a single source of truth for your data is the biggest challenge in data engineering. Different roles and tasks in the business need their own ways to access and analyze the data in the organization. In order to enable this use case, while maintaining a single point of access, the semantic layer has evolved as a technological solution to the problem. In this episode Artyom Keydunov, creator of Cube, discusses the evolution and applications of the semantic layer as a component of your data platform, and how Cube provides speed and cost optimization for your data consumers.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data managemen…

6 months назад @ dataengineeringpodcast.com
Adding Anomaly Detection And Observability To Your dbt Projects Is Elementary
Adding Anomaly Detection And Observability To Your dbt Projects Is Elementary

Summary

Working with data is a complicated process, with numerous chances for something to go wrong. Identifying and accounting for those errors is a critical piece of building trust in the organization that your data is accurate and up to date. While there are numerous products available to provide that visibility, they all have different technologies and workflows that they focus on. To bring observability to dbt projects the team at Elementary embedded themselves into the workflow. In this episode Maayan Salom explores the approach that she has taken to bring observability, enhanced testing capabilities, and anomaly detection into every step of the dbt developer experience.

Announcements…

6 months, 1 week назад @ dataengineeringpodcast.com
Ship Smarter Not Harder With Declarative And Collaborative Data Orchestration On Dagster+
Ship Smarter Not Harder With Declarative And Collaborative Data Orchestration On Dagster+

Summary

A core differentiator of Dagster in the ecosystem of data orchestration is their focus on software defined assets as a means of building declarative workflows. With their launch of Dagster+ as the redesigned commercial companion to the open source project they are investing in that capability with a suite of new features. In this episode Pete Hunt, CEO of Dagster labs, outlines these new capabilities, how they reduce the burden on data teams, and the increased collaboration that they enable across teams and business units.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Dagster offers a new approach to building and running data …

6 months, 2 weeks назад @ dataengineeringpodcast.com
Data Brew by Databricks
последний пост None
«Ничего такого» by Dodo Enginnering
последний пост None
Запуск завтра Podcast Запуск завтра Podcast
последний пост 2 weeks, 4 days назад
Amazon: как популярный онлайн-магазин подсадил всех на облака
Amazon: как популярный онлайн-магазин подсадил всех на облака Amazon: как популярный онлайн-магазин подсадил всех на облака

Как технология для стабильной работы магазина книг стала основой половины интернета? Из-за чего мы начали покупать бесконечные подписки на приложения? Почему из-за сбоев на серверах одного интернет сервиса ложится все? В этом выпуске рассказываем про «облака»: как они возникли и поменяли наши привычки покупать вещи, смотреть кино, редактировать документы и играть в игры.Реклама. ООО «Яндекс» ИНН 7736207543Партнер этого эпизода — сервис Яндекс Образование. Участвуйте в Олимпиаде AIDAO для студентов бакалавриата и магистратуры. Регистрация открыта до 5 октября 2024 года. Все подробности и условия участия тут:https://cutt.ly/aeRKEQpv?erid=2SDnjdYhKWzЭпизод с разработчиком хромбуков: https://pc…

2 weeks, 4 days назад @ share.transistor.fm
Intel и AMD: как появился чип, на котором всё работает
Intel и AMD: как появился чип, на котором всё работает Intel и AMD: как появился чип, на котором всё работает

Кремниевая долина названа так в честь кремния в компьютерных процессорах. Полвека назад они были медленные и размером с квартиру, но с тех пор уменьшились в сотни и разогнались в миллиарды раз. Кажется, закон Мура перестаёт работать, а кремний как основа электроники уходит в прошлое. С чего все началось и что грядёт на смену? Это выпуск о компании Intel и ее заклятом друге AMD, о создании процессора и о безумной сложности производства компьютерных чипов.Реклама. ООО «Яндекс» ИНН 7736207543Партнер этого эпизода — Яндекс Образование. Учитесь и узнавайте новое вместе Журналом от Яндекс Образования: https://education.yandex.ru/journal?erid=2SDnjdbF76zВ этом эпизоде мы упоминаем другие выпуски н…

3 weeks, 4 days назад @ share.transistor.fm
Стив Джобс: как хиппи со скверным характером стал отцом цифровой революции
Стив Джобс: как хиппи со скверным характером стал отцом цифровой революции Стив Джобс: как хиппи со скверным характером стал отцом цифровой революции

Как маргинальный хиппи подчинил себе мировой цифровой рынок? Почему из десятков стартапов, рожденных в гаражах Кремниевой Долины, выстрелил именно Apple? Как пережить изгнание из собственной компании, а потом триумфально вернуться в нее ещё более богатым, чем уходил? Наконец, как работало «поле искажения реальности», позволявшее создавать невозможное? В этом выпуске рассказываем историю IT-иконы и человека-мифа Стива Джобса и его корпорации Apple.Реклама. ООО «Яндекс» ИНН 7736207543Партнер этого эпизода — Яндекс. Приходите работать, а 12 сентября — отмечать День разработчика в осенний коворкинг Яндекса в Парке Горького: https://clck.ru/3Cjpx8erid=2SDnjbuMCprПоддержите студию «Либо/Либо» дон…

1 month назад @ share.transistor.fm
Google: как появился главный мировой поисковик
Google: как появился главный мировой поисковик Google: как появился главный мировой поисковик

Гугл - главный поисковик нашего времени, с которым никто не может конкурировать. Однако, не так давно он был лишь одним из шести подобных стартапов, и в его успех никто не верил кроме двух 20-летних студентов которые совершенно случайно наткнулись на главный клад 21 века — поисковой трафик. О том, как сын советских евреев и его однокурсник по Стэнфорду изобрели способ найти что угодно за секунды, подмяли под себя интернет и столкнули с Олимпа непобедимого Билла Гейтса - третий эпизод нового сезона «Запуска завтра». Реклама. ООО «Яндекс» ИНН 7736207543Партнер этого эпизода — Яндекс. Приходите работать в осенний коворкинг Яндекса с 6 сентября по 4 октября: https://clck.ru/3Cjptb?erid=2SDnjdeA…

1 month, 1 week назад @ share.transistor.fm
Билл Гейтс: человек, который научил компьютеры всему
Билл Гейтс: человек, который научил компьютеры всему Билл Гейтс: человек, который научил компьютеры всему

Билл Гейтс — одна из самых противоречивых фигур в истории IT. Как он победил самую влиятельную корпорацию своего времени и сам вырастил такого же IT-гиганта? Кому проиграл битву за Интернет? Наконец, правда ли его карьеру ускорила влиятельная мама? Второй эпизод нового сезона «Запуска завтра» — про технологического гиганта 90-х, компанию Microsoft, и ее создателя Билла Гейтса.***Реклама. ООО «Яндекс» ИНН 7736207543Партнер этого эпизода — Яндекс. Приходите на Practical ML Conf от Яндекса 14 сентября в Москве или онлайн: https://clck.ru/3CjqjB?erid=2SDnjcsfPcE ***Подробнее про курс «Как делать разговорные подкасты»:https://t.me/libolibocourses/18***В эпизоде мы упоминаем подкаст «Конкуренты» …

1 month, 2 weeks назад @ share.transistor.fm
IBM: первый массовый компьютер, атака клонов и падение империи
IBM: первый массовый компьютер, атака клонов и падение империи IBM: первый массовый компьютер, атака клонов и падение империи

Чем разработка компьютера похожа на запуск ракеты на Луну? Легко ли быть сыном самого успешного человека на континенте? Как один мелкий пункт в договоре может выбить из гонки, которую ты сам же и начал?В первом эпизоде нового сезона «Запуска завтра» рассказываем о взлете и падении империи IBM, появлении персонального компьютера, зарождении Кремниевой Долины и о том, как стартаперы в майках с пятнами от пиццы становятся важнее топ-менеджеров в костюмах-тройках.***Реклама. АО «Точка» ОГРН: 1187746637143 ИНН 9705120864Партнер эпизода — финтех-компания Точка. Посмотреть, как устроена работа в Точке, можно тут: https://tchk.me/A1Ye0k?erid=2SDnjcys7Ja***Слушайте бонусы «Запуска завтра» по подписк…

1 month, 3 weeks назад @ share.transistor.fm
Право на ремонт. Почему наши устройства так сложно чинить
Право на ремонт. Почему наши устройства так сложно чинить

В основе движения right to repair лежит крайне простая идея: только сами пользователи могут решать, как им распоряжаться своими приобретениями, будь то телефон, кухонный комбайн или газонокосилка. Но убедить в этом производителей пока не смог даже Конгресс США. Зачем компаниям ограничивать право на ремонт электроники? Какое оно — по-настоящему ремонтопригодное устройство? И, наконец, почему активистов движения так бесит компания Apple? Обсуждаем право на ремонт с Гэй Гордон-Бёрн, одной из основательниц Digital Right To Repair Coalition.Сайт коалиции: https://www.repair.org/***Реклама. АО «Точка» ОГРН: 1187746637143 ИНН 9705120864Партнер эпизода — финтех-компания Точка. Посмотреть, как устро…

2 months назад @ share.transistor.fm
Что делают писатели в IT
Что делают писатели в IT

Вы когда-нибудь открывали инструкцию к микроволновке? Кажется, ее никто не читает. При этом документация есть примерно у всех устройств, которыми мы пользуемся каждый день, и кто-то даже строит на ней бизнес. Зачем нужна документация? Кто ее создает? И что должен уметь писатель в IT? Самат Галимов говорит с Семеном Факторовичем — техническим директором documentat.io — компании по разработке документации.Курс Семена для разработчиков: https://documentat.io/courses/developers-developers-developers/Чат техписателей: https://t.me/technicalwritersТелеграм-канал Коли Волынкина: https://t.me/s/docops Семен рекомендует книгу The Product is Docs, автор Christopher Gales***Реклама. АО «Точка» ОГРН: 1…

2 months, 1 week назад @ share.transistor.fm
Пароли устарели? Говорим об аутентификации
Пароли устарели? Говорим об аутентификации

Специалисты по безопасности говорят, что пароли устаревают. Что с ними не так? Какие вообще способы аутентификации существуют? И чем их заменить? Самат Галимов говорит с Каримом Валиевым, который руководил группой информационной безопасности Mail.Ru.Реклама. АО «Точка» ОГРН: 1187746637143 ИНН 9705120864Партнер эпизода — финтех-компания Точка. Посмотреть, как устроена работа в Точке, можно тут: https://tchk.me/IkUNnN?erid=2SDnjbpj8B4 Слушайте бонусы «Запуска завтра» по подписке «Либо/Либо+» в закрытом тг-канале https://cutt.ly/zap2507eptg1990 (подписка на год за 1990руб) или https://cutt.ly/zap2507eptg (399руб/месяц), а также в Apple Podcasts https://cutt.ly/zap2507epap 🎧 Слушайте подкаст «Г…

2 months, 2 weeks назад @ share.transistor.fm
CAPTCHA. Докажите, что вы не робот
CAPTCHA. Докажите, что вы не робот

Кажется, что роботы способны на всё — от уборки квартиры до исследования поверхности Марса. При этом, возможно, вам приходилось ставить галочку рядом с фразой «Я не робот», чтобы зайти на сайт. Неужели робот бы не справился с такой задачей? Как устроен механизм, который различает роботов и людей в интернете? Кто пытается его обмануть и зачем? Самат Галимов говорит с Никитой Захматовым, который защищает от роботов инфраструктуру «Яндекса».Реклама. АНО ДПО «Образовательные технологии Яндекса» ИНН 7704282033 Курс «Java-разработчик»: https://ya.cc/t/lMZjkaqJ5Aycex?erid=2SDnjeFcxyY❗️Мы пробуем видео! Этот и два предыдущих эпизода вышли с видеоверсиями. В них — примерно то же самое, но с лицами и…

2 months, 3 weeks назад @ share.transistor.fm
Parkly. Как бывший техдир Авито автоматизирует парковки
Parkly. Как бывший техдир Авито автоматизирует парковки

Иногда сесть за руль и доехать до пункта назначения занимает 15 минут, а найти место для парковки — в два раза больше. Бывший технический директор Авито Роман Павлушко создал стартап, который решает эту проблему в крупных российских городах. Самат расспросил Рому о деньгах, команде и перспективах.Реклама. АНО ДПО «Образовательные технологии Яндекса» ИНН 7704282033Бесплатный курс «Основы работы с Git»: https://ya.cc/t/X2V0hT_f5AyGGn?erid=2SDnjdmt3ea ❗️Мы пробуем видео! Этот, следующий и предыдущий эпизод выходят с видеоверсиями. В них — примерно то же самое, но с лицами и иллюстрациями. Ссылка на видеоверсию этого эпизода: https://youtu.be/DkGl-wTJN5s Подписывайтесь на YouTube-канал студии «…

2 months, 4 weeks назад @ share.transistor.fm
Что нового на рынке искусственного интеллекта
Что нового на рынке искусственного интеллекта

Когда мы говорим об искусственном интеллекте, обычно представляем себе ChatGPT от OpenAI. Но собственные продукты есть еще и у Microsoft, Google, Meta, Mistral, Apple... Илон Макс, который, кстати, был одним из соучредителей OpenAI, тоже пообещал сделать свой AI — он хочет «понять природу Вселенной». Кто всё-таки главный на рынке? Как создают современные нейросети? И каким может быть следующий прорыв?Реклама. АНО ДПО «Образовательные технологии Яндекса» ИНН 7704282033Курс «Инженер по тестированию: от новичка до автоматизатора» https://clck.ru/3B8rmu?erid=2SDnjesH1ri❗️Мы пробуем видео! Этот и следующие два эпизода выйдут с видеоверсией. В них — примерно всё то же самое, но с лицами и иллюстр…

3 months назад @ share.transistor.fm
Инста уже не та? Как меняются соцсети
Инста уже не та? Как меняются соцсети

Активные пользователи наверняка замечали, что в последние годы их ленты в соцсетях стали выглядеть по-другому, а блогеры и интернет-бизнесы жалуются на падение охватов. Во всем виноваты алгоритмы? Куда бежать от умных лент? Разбираемся, как устроены популярные соцсети с Йованом Савовичем, создателем Лепрозория и dirty.ru.Реклама. АНО ДПО «Образовательные технологии Яндекса» ИНН 7704282033Курс «Разработчик C++»: https://clck.ru/3B8p9y?erid=2SDnjdh8w6rМы пробуем видео! Следующие три эпизода выйдут с видеоверсией на YouTube-канале студии «Либо/Либо». Подпишитесь, чтобы не пропустить: https://youtube.com/@libolibostudio?feature=sharedСлушйте бонусные эпизоды «Запуск++», а еще другие бонусы студ…

3 months, 1 week назад @ share.transistor.fm
Могут ли в России заблокировать VPN
Могут ли в России заблокировать VPN

Помните, как несколько месяцев назад в российских СМИ писали, что в марте этого года VPN заблокируют? Сейчас июнь, а мы по-прежнему им пользуемся. Что пытались сделать власти и что из этого вышло? Безопасно ли подключаться к бесплатному VPN и как вообще работает эта технология? Почему скорость интернета упала и как обычным пользователям сохранить к нему доступ? В этом выпуске Самат Галимов говорит с Михаилом Климарёвым — руководителем проекта VPN Generator и исполнительным директором фонда «Общество защиты интернета».Реклама. АНО ДПО «Образовательные технологии Яндекса» ИНН 7704282033Бесплатный курс «Какую профессию выбрать в анализе данных»: https://clck.ru/3B8mbg?erid=2SDnjdpNnNvК этому э…

3 months, 2 weeks назад @ share.transistor.fm
Как айтишники расшифровывают античные рукописи
Как айтишники расшифровывают античные рукописи

Представьте себе свитки с текстами, которым 2000 лет. Они спеклись при извержении Везувия, и их почти невозможно развернуть. Прочитать рукописи — звучит как совсем невыполнимая задача. Но сотни технарей уже больше года пытаются расшифровать античные тексты на конкурсе The Vesuvius Challenge. Как у них получается и зачем они это делают? Откуда взялись эти свитки? И почему из-за них в Европе готовы подвинуть целый город? Чтобы разобраться, Самат Галимов говорит с участником конкурса Антоном Репушко.Сайт конкурса: https://scrollprize.orgРеклама. АНО ДПО «Образовательные технологии Яндекса» ИНН 7704282033Курс «Фронтенд-разработчик» для тех, кто хочет освоить профессию с нуля или сменить направл…

3 months, 3 weeks назад @ share.transistor.fm
Moscow Python Podcast Moscow Python Podcast
последний пост 6 часов назад
Релиз 3.13 и когда перестать использовать 3.8 / Python Developers Survey 2023 / Дискуссия про uv
Релиз 3.13 и когда перестать использовать 3.8 / Python Developers Survey 2023 / Дискуссия про uv

Спонсор подкаста: курсы по Python-разработке для тех, кто уже знаком с веб-разработкой — https://vk.cc/cADwoW Ведущие – Никита Соболев и Михаил Корнеев

Новости выпуска: Релиз 3.13 перенесли на 7-е октября — https://discuss.python.org/t/incremental-gc-and-pushing-back-the-3-13-0-release/65285 Время перестать использовать 3.8 — https://pythonspeed.com/articles/stop-using-python-3.8/ Когда пора апргрейдиться до 3.13 — https://pythonspeed.com/articles/upgrade-python-3.13/ Python Developers Survey 2023 — https://lp.jetbrains.com/python-developers-survey-2023/ Большая дискуссия про uv в хвиторе — https://simonwillison.net/2024/Sep/8/uv-under-discussion-on-mastodon/ Каналы Никиты Соболева: https:/…

6 часов назад @ learnpython.podbean.com
Django 5.1 / Релиз uv / PyPI реагируют на Malware в течение суток / Рейтинг популярности ЯП от IEEE
Django 5.1 / Релиз uv / PyPI реагируют на Malware в течение суток / Рейтинг популярности ЯП от IEEE

Спонсор подкаста: курсы по Python-разработке для тех, кто уже знаком с веб-разработкой — https://vk.cc/cADwoW Ведущие – Григорий Петров и Михаил Корнеев

Новости выпуска:

Вышла Django 5.1

Большой релиз uv PyPI снизили время реагировании на mailware до 24 часов

IEEE опубликовали очередной рейтинг популярности языков, python на первом месте Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru

3 weeks, 2 days назад @ learnpython.podbean.com
Зачем гуманитариям изучать Python?
Зачем гуманитариям изучать Python? 1 month, 2 weeks назад @ learnpython.podbean.com
Новости Python за июль 2024
Новости Python за июль 2024

Спонсор подкаста — https://learn.python.ru/advanced

Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: Утечка токена для полного доступа к GitHub-репозиториям проекта Python

Запущен сайт про nogil-питон

Python grapples with Apple App Store rejections

Вышел Polars 1.0 PEP 751 общий формал для lock-файлов зависимостей Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru

2 months назад @ learnpython.podbean.com
Новости Python за июнь 2024
Новости Python за июнь 2024

Спонсор подкаста — https://learn.python.ru/advanced

Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: Должен ли Python использовать календарную нумерацию версий Релиз NumPy 2.0

Как устроена инфраструктура работы с уязвимостями в Python

Современные практики для разработки на Python Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru

2 months, 3 weeks назад @ learnpython.podbean.com
Яндекс и Python: Взгляд изнутри с Сергеем Яхницким
Яндекс и Python: Взгляд изнутри с Сергеем Яхницким

В этом выпуске встретились с Сергеем Яхницким и обсудили: Python в Яндекс.Такси

как в Яндексе организована разработка Python кода

как организован CI/CD

какие линтеры используют

борются ли как-то с использованием типов

используют ли в Яндексе ruff

про PiterPy

про поиск спикеров

что нравится Сергею в конференциях

3 months, 1 week назад @ learnpython.podbean.com
Что нового в Python 3.13 и 3.14 c Никитой Соболевым
Что нового в Python 3.13 и 3.14 c Никитой Соболевым

Спонсор подкаста: продвинутые курсы для разработчиков — https://vk.cc/cxi9FL

Ведущие – Григорий Петров и Михаил Корнеев https://github.com/sobolevn/ship-it-b... - настолка от Никиты / @sobolevn — видео от Никиты

3 months, 1 week назад @ learnpython.podbean.com
Новости Python за май 2024
Новости Python за май 2024

Спонсор подкаста — https://learn.python.ru

CFP PiterPy — https://piterpy.com/callforpapers/

Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: Вышла бета python 3.13

Django Developers Survey 2023

Django Enhancement Proposal: Background Workers

Fake job interviews target developers with new Python backdoor

Как выбирают доклады на EuroPython Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru

4 months назад @ learnpython.podbean.com
Day Special с Иваном Кривошеевым
Day Special с Иваном Кривошеевым

Спонсор подкаста — https://learn.python.ru

Python Day на Positive Hack Days — https://bit.ly/phd-mpp Ведущий – Григорий Петров Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru

4 months, 3 weeks назад @ learnpython.podbean.com
Day Special с Александром Гончаровым
Day Special с Александром Гончаровым

Спонсор подкаста — https://learn.python.ru

Python Day на Positive Hack Days — https://bit.ly/phd-mpp Ведущие – Григорий Петров и Валентин Домбровский Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru

5 months назад @ learnpython.podbean.com
Новости мира Python за апрель 2024
Новости мира Python за апрель 2024

Спонсор подкаста — https://learn.python.ru

Python Day на Positive Hack Days — https://bit.ly/phd-mpp Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: Pydantic запустили бета-версию Longfire

Łukasz научил GitHub собрать CPyhon из исходников

PyPI is expanding Trusted Publisher Support Релиз ruff 0.4.0 New Open Initiative for Cybersecurity Standards Ubuntu 24.04 LTS

PEP-744 Jit Compilation

Студенческие задания в Open source Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru

5 months, 1 week назад @ learnpython.podbean.com
Новости мира Python за март 2024
Новости мира Python за март 2024

Спонсор подкаста — https://learn.python.ru

Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: релиз ruff 0.3.0

style czar или попытка привести языки к одному стилю

Gemini Pro объявила кеширование «риском безопасности»

Cloudflare запустили поддержку python в cloud-workers-ах

как за год изменилось состояние Web Assembly в Python

в pypi завезли возможность репортить malware-пакеты закончилось большое обсуждение lock-файлов от Brett Canon вышел DRF 3.15 почти через 2 года после пердыдущей версии Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https:/…

6 months назад @ learnpython.podbean.com
API версионирование: как, зачем и почему?
API версионирование: как, зачем и почему?

Спонсор подкаста — https://learn.python.ru

Ведущие – Григорий Петров и Михаил Корнеев Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы MoscowPython — https://moscowpython.ru

6 months, 1 week назад @ learnpython.podbean.com
Новости мира Python за февраль и даже больше
Новости мира Python за февраль и даже больше

Спонсор подкаста — https://learn.python.ru

Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: Тул для работы с зависимостями для Python — `uv`

PEP 740 — возможность добавление работы с цифорвыми подписями для реестров пакетов типа PyPI Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы MoscowPython — https://moscowpython.ru

7 months, 1 week назад @ learnpython.podbean.com
Как стать core-разработчиком CPython?
Как стать core-разработчиком CPython?

Спонсор подкаста — https://learn.python.ru

Ведущие – Григорий Петров и Михаил Корнеев Ссылки Никиты: GitHub — github.com/sobolevn Youtube — @sobolevn

7 months, 1 week назад @ learnpython.podbean.com
Podlodka Podcast Podlodka Podcast
последний пост 30 минут назад
Podlodka #393 – Социальная инженерия
Podlodka #393 – Социальная инженерия Podlodka #393 – Социальная инженерия

В этом выпуске мы обсуждаем социальную инженерию — угрозу, которая касается каждого, будь то человек или компания. Мы разберем основные методы атак, и какие психологические техники используют мошенники. Вы узнаете, насколько опасно переходить по ссылкам, открывать видео и скачивать файлы. Эксперт Антон Бочкарев – эксперт по информационной безопасности и сооснователь площадки «Третья Сторона», поделится советами, как защитить себя, помочь близким и бороться с этой угрозой на уровне компании. Партнёр эпизода — образовательная платформа Грейд от Яндекс Практикума.

Грейд помогает руководителям и тимлидам точечно обучать сотрудников или целые команды навыкам для конкретных бизнес-задач: подготов…

30 минут назад @ soundcloud.com
Podlodka #392 – Lua
Podlodka #392 – Lua Podlodka #392 – Lua

Lua – уникальный язык программирования, так и не ставший массовым, но при этом занявший кучу разных ниш. Его используют, чтобы писать моды для Factorio, Minecraft и Roblox, высоконагруженную логику для nginx, скрипты для redis, плагины для neovim и wireshark, и даже софт для микроконтроллеров. Все это стало возможным благодаря некоторым дизайновым решениям, которые сделали Lua самым удобным языком для встраивания в другие системы. Антон Солдатов, долгое время разрабатывавший код на Lua в IPONWEB, а также участвовавший в разработке внутреннего форка LuaJIT, рассказал нам все, что нужно знать про этот язык. Партнёр эпизода — образовательная платформа Грейд от Яндекс Практикума.

Грейд помогает…

1 week назад @ soundcloud.com
Podlodka #391 – Интеропы
Podlodka #391 – Интеропы Podlodka #391 – Интеропы

Почему одни языки легко взаимодействуют между собой – как, например C и C++, или Java и Kotlin, а другие создают неимоверную боль при попытке вызвать функции одного языка из другого? Все дело в интеропе! Что это такое, и почему он сложнее, чем кажется – разбираемся с Николаем Иготти! Партнёр эпизода — образовательная платформа Грейд от Яндекс Практикума.

Грейд помогает руководителям и тимлидам точечно обучать сотрудников или целые команды навыкам для конкретных бизнес-задач: подготовить команду к новому проекту, вырастить стажеров или переобучить сотрудника для новой роли. На платформе Грейда более 1000 навыков, а также возможность конструировать обучение под запрос, наблюдать за прогрессом…

2 weeks назад @ soundcloud.com
Podlodka 390 – Устройство JVM
Podlodka 390 – Устройство JVM Podlodka 390 – Устройство JVM

В выпусках мы уже обсуждали Java, Kotlin, Scala и даже Clojure, но теперь пришло время разобраться с основой популярности этих языков — Java Virtual Machine. Кто сможет лучше всего рассказать о внутреннем устройстве JVM? Конечно, тот, кто сам создавал одну из её реализаций! В этом выпуске вместе с Никитой Липским, инициатором проекта Excelsior JET — JVM с AOT компилятором, мы углубляемся в анатомию JVM, разбираемся с её спецификацией и различными реализациями, обсуждаем особенности оптимизаций, текущие проблемы и тренды в экосистеме JVM. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Стр…

3 weeks назад @ soundcloud.com
Podlodka #389 – Junior-разработчики
Podlodka #389 – Junior-разработчики Podlodka #389 – Junior-разработчики

В этом выпуске мы поговорили о входе в IT, обучении и устройстве на позицию junior-разработчика с сооснователем Hexlet Кириллом Мокевниным. Обсудили, как собрать портфолио и где получить практический опыт до первой работы. Изначально Кирилл не планировал затрагивать тему софт-скиллов, но в итоге не удержался — вышло интересно и содержательно. Выпуск – набор конкретных советов и рекомендаций для тех, кто начинает карьеру в IT. Партнёр эпизода – облачная платформы Yandex Cloud. 25 сентября команда проводит Yandex Scale – большую конференцию для тех, кто создаёт цифровые решения. Участников ждет насыщенная программа с технологическими анонсами и практическими кейсами применения облачных технол…

3 weeks, 6 days назад @ soundcloud.com
Podlodka #388 – Авторизация и аутентификация
Podlodka #388 – Авторизация и аутентификация Podlodka #388 – Авторизация и аутентификация

Сколько факторов аутентификации нужно использовать, чтобы учетные записи ваших пользователей были в безопасности? Зачем сбрасывать пароль каждые 30 дней? Есть ли методы аутентификации, которые, с одной стороны, достаточно безопасные, а с другой – удобные даже для вашей бабушки? Никита Хромушкин из Авито провел для нас максимально подробную лекцию про то, насколько проклято текущее состояние дел в аутентификации и какое светлое будущее нас ждет, когда человечество откажется от паролей! Партнёр эпизода – облачная платформа Yandex Cloud, которая проводит большую конференцию Yandex Scale для тех, кто создаёт цифровые решения. Генеративные нейросети, речевые технологии, сервисы для работы с данн…

1 month назад @ soundcloud.com
Podlodka #387 – С
Podlodka #387 – С Podlodka #387 – С

С – язык, на котором написана значимая часть всего, что нас окружает: от ядра операционной системы до мозгов автомобиля, из колонок которого вы будете слушать этот подкаст. В выпуске вместе с Игорем Жирковым разбираемся с тем, насколько современный C похож на язык, с которым вы познакомились в той самой книге Кернигана и Ритчи, какие особенности делают его одним из самых нетерпимых языков к ошибкам программиста, и стоит ли вообще на нем писать код в 2024 году. Партнер эпизода — TeamLead T-Sync, мероприятие, на котором вы сможете заглянуть в самое сердце культуры тимлидов Т-Банка. Вы сможете послушать доклады, поучаствовать в открытой дискуссии и спиддейтинге с мидл-менеджментом, а также поо…

1 month, 1 week назад @ soundcloud.com
Podlodka #386 – Наушники и колонки
Podlodka #386 – Наушники и колонки Podlodka #386 – Наушники и колонки

Вторая часть выпуска про звук с Сергеем Рябовым. Если в первой части мы обсудили, как и на что звук записывают, то во второй — как его послушать. Разобрали все от максимального правильного сетапа с золотыми проводами и аналоговым сигналом, до кастомных наушников, делающихся по вашему слепку уха. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: https://facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Стас Цыганов, Женя Кателла Полезные ссылки:

Контакты Сергея:

https://t.me/dubbydreadspeaking

https://vk.com/dubbydread

htt…

1 month, 2 weeks назад @ soundcloud.com
Podlodka #385 – Релокация в Японию
Podlodka #385 – Релокация в Японию Podlodka #385 – Релокация в Японию

Частые землетрясения, жизнь на 12 кв.м. и убийственно дорогие фрукты — это только одна из сторон жизни в Японии. На самом деле, все гораздо более позитивно! Ася Кононова, год назад переехавшая в Японию после получения оффера в местную компанию, рассказывает про свой опыт адаптации в стране, все ее культурные особенности и дает кучу советов тем, кто захочет повторить ее путь. Полезные ссылки:

Поиск работы: https://japan-dev.com

Про жизнь в Японии: https://youtube.com/@torichyanchanne

Поиск людей по интересам: https://meetu.ps Подробное описание разницы между получением гражданства и ПР: https://dsg.or.jp/column/naturalization/6304/ Также ждем вас, ваши лайки, репосты и комменты в мессенджера…

1 month, 3 weeks назад @ soundcloud.com
Podlodka #384 – Карьера в FAANG
Podlodka #384 – Карьера в FAANG Podlodka #384 – Карьера в FAANG

Существует популярное мнение – делай свою работу быстрее и лучше других, и продвижение по карьере не заставит себя ждать. На ранних этапах карьеры это еще справедливо, но чем дальше – тем больше правила игры меняются. Особенно в FAANG, где на каждую высокую позицию невероятно высокая конкуренция. Какие правила там действуют, и как к ним подступиться – выясняем вместе с Максом Страховым. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Женя Кателла, Катя Петрова, Аня С…

2 months назад @ soundcloud.com
Podlodka #383 – Переговоры о деньгах
Podlodka #383 – Переговоры о деньгах Podlodka #383 – Переговоры о деньгах

На протяжении всей карьеры нам постоянно приходится вести переговоры о деньгах — при принятии оффера, обсуждении профессионального роста со своим тимлидом, или назначении стоимости за фриланс и консалтинг услуги. Переговоры — это искусство; понимая их суть и зная основные тактики вы можете сильно увеличить ваши шансы на успех. В этом выпуске вместе с Ильей Синельниковым мы разбираем основные кейсы, когда ИТ-специалистам необходимо вести переговоры о деньгах и учимся применять основные переговорные практики (мир клиента, нет нужде, право на нет), чтобы получать больше. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал…

2 months, 1 week назад @ soundcloud.com
Podlodka #382 – Корпоративное обучение
Podlodka #382 – Корпоративное обучение Podlodka #382 – Корпоративное обучение

Люди — главный ресурс любого бизнеса. В этом выпуске вместе с Викой Ёлкиной, экспертом в проектировании корпоративного обучения, разбираемся почему компании инвестируют в обучение сотрудников; кого, как и чему учить; и где брать экспертов для создания программ. Поговорили про то, какие навыки развивать внутри компании, а какие лучше взять извне. Обсудили мотивацию сотрудников, роль HR и руководителей, составление индивидуальных планов развития и то, как измерять эффективность таких вложений. Партнёр эпизода — компания YADRO. YADRO — это крупнейшая технологическая компания, которая создает фундаментальные для российского рынка продукты, начиная от серверов, и заканчивая собственной базовой с…

2 months, 2 weeks назад @ soundcloud.com
Podlodka #381 – Стоицизм
Podlodka #381 – Стоицизм Podlodka #381 – Стоицизм

Про стоицизм поговорили с Иваном Ямщиковым – ведущим подкаста Проветримся, а еще профессором Высшей Технической Школы города Вюрцбург. Обсудили, как стоицизм помогает меньше переживать из-за событий, на которые мы не можем повлиять, и дает мотивацию делать то, что действительно важно. Идеи из выпуска могут помочь пережить тяжелые времена и не только. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Стас Цыганов, Катя Петрова, Егор Толстой Полезные ссылки: Выпуск Ивана…

2 months, 3 weeks назад @ soundcloud.com
Podlodka #380 – Как устроены медиа
Podlodka #380 – Как устроены медиа Podlodka #380 – Как устроены медиа

Подлодка – это в некотором роде СМИ, хоть и не очень массовое. Нам стало интересно, как работают изнутри настоящие медиа, поэтому мы пригласили в гости Максима Иванова, который за свою карьеру работал и в игрожуре, и в общественно-политическом издании, которое нельзя называть, а сейчас тимлидит редакции в Т—Ж. Вместе с ним мы разбираемся, чем отличаются различные типы медиа, как работают редакции, и кто и зачем сейчас вообще идет в журналистику. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/Podlodka…

3 months назад @ soundcloud.com
Podlodka #379 – Чистый код
Podlodka #379 – Чистый код Podlodka #379 – Чистый код

Когда-то давно Роберт Мартин (он же “Дядя Боб”) популяризовал словосочетания “Чистый код” и “Чистая архитектура”. С тех пор не утихают споры, а что же именно он под всем этим подразумевает. Прошло несколько раундов обсуждений, и уже выросло поколение разработчиков, которые говорят, что рекомендациям Дяди Боба ни в коем случае нельзя следовать. А значит пришла пора нам самим разобраться с тем, что такое Чистый Код! А помогает нам в этом Кирилл Мокевнин из Hexlet. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twi…

3 months, 1 week назад @ soundcloud.com
Проветримся! Проветримся!
последний пост 2 months, 2 weeks назад
Артём Родичев: эмпатия искусственного интеллекта
Артём Родичев: эмпатия искусственного интеллекта

Артём Родичев — основатель и CEO стартапа ex-Human. ex-Human создаёт искусственный интеллект, способный поддерживать беседу на любую, даже очень личную, тему.Ex-human AI: https://exh.ai/Support the Show.ApplePodcasts: https://apple.co/2Psx8yd GooglePodcasts: https://shorturl.at/finK1 Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

2 months, 2 weeks назад @ buzzsprout.com
Наталья Шагарина: ИИ для семьи
Наталья Шагарина: ИИ для семьи

Наталия Шагарина — серийная предпринимательница. Её новый стартап Аврора - виртуальный помощник для семей. Аврора помогает координировать расписание и справляться с рутиной, осовобождая силы и время, - чтобы все могли заниматься самым важным.Support the Show.ApplePodcasts: https://apple.co/2Psx8yd GooglePodcasts: https://shorturl.at/finK1 Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

2 months, 3 weeks назад @ buzzsprout.com
Иван Курилла: рабство и крепостное право
Иван Курилла: рабство и крепостное право

19 февраля (по старому стилю) или 3 марта (по новому) 1861 года в Российской Империи указом императора Александра Второго отменили крепостное право.Это вторая серия двухсерийного разговора. Сегодня мы говорим с историком Иваном Куриллой, специалистом по русско-американским отношениям о схожем и различном между рабством в США и крепостничеством в России.Support the Show.ApplePodcasts: https://apple.co/2Psx8yd GooglePodcasts: https://shorturl.at/finK1 Я.Музыка: https://clck.ru/JJB8yПатрео...

3 months назад @ buzzsprout.com
Воля и свобода
Воля и свобода

19 февраля (по старому стилю) или 3 марта (по новому) 1861 года в Российской Империи указом императора Александра Второго отменили крепостное право.Это первая серия двухсерийного разговора. Сегодня мы говорим с историком Владимиром Коршаковым, автором канала Русские Летописи про то, как древнерусский человек понимал понятия "воля" и "свобода".Ютуб Владимира: @letopisirus Телеграм: https://t.me/letopisi_rusТвиттер: https://twitter.com/letopisi_rusSupport the Show.ApplePodcasts: htt...

3 months, 1 week назад @ buzzsprout.com
Сергей Сухов: Стоицизм
Сергей Сухов: Стоицизм

Беседуем с Сереем Суховым, создателем самого крупного Telegram-канала о стоицизме и тренажера по стоицизму.Support the showApplePodcasts: https://apple.co/2Psx8yd GooglePodcasts: https://shorturl.at/finK1 Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

6 months, 1 week назад @ buzzsprout.com
База про Стоицизм
База про Стоицизм

Перед разговором с Сергеем Суховым о философии стоиков я решил записать короткий эпизод про принципы философии стоицизма.Support the showApplePodcasts: https://apple.co/2Psx8yd GooglePodcasts: https://shorturl.at/finK1 Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

6 months, 2 weeks назад @ buzzsprout.com
Илья Параушкин: Выживание Жизни
Илья Параушкин: Выживание Жизни

Илья Параушкин — СЕО компании Biovolf. Биотех — необъятное поле для беседы. На этот раз продолжили разговор про экстремофилов, обсудили эволюцию, экосистемы, биологические катастрофы и перспективы человечества. Илью вы точно ещё у нас услышите.Support the showApplePodcasts: https://apple.co/2Psx8yd GooglePodcasts: https://shorturl.at/finK1 Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

8 months назад @ buzzsprout.com
Михаил Свердлов: образование, которое мы заслужили
Михаил Свердлов: образование, которое мы заслужили

Михаил Свердлов, ex-CBDO в Skypro, ex-Content Director в Skyeng, эксперт и консультант по образовательному продукту и аналитике, независимый CPO/директор по развитию и стратегии, автор телеграм-канала Образование, которое мы заслужили.У Миши очень богатый опыт в создании и развитии технологических продуктов на разных рынках, 5 лет из них в сфере образования. Последние 1,5 года Миша живёт в США.Ссылки:Канал «Образование, которое мы заслужили» https://t.me/ru_educationКанал «Камера хранения»https://t.me/schoolstorageИсследование с ВШЭ про аналитику в образовании и дата-центричный подход к построению образовательного контентаhttps://ioe.hse.ru/pubs/share/direct/547495575.pdfИсследование для Na…

8 months, 2 weeks назад @ buzzsprout.com
Маша Грекова: Теплица, Нормальное Место, Огурцы и Простые Вещи
Маша Грекова: Теплица, Нормальное Место, Огурцы и Простые Вещи

Маша Грекова делает несколько проектов для взрослых людей с ментальными особенностями.Нормальное местоhttps://www.mestonorm.ruПростые вещиhttps://prostieveschi.ruОгурцыhttps://www.instagram.com/ogurtsinafontanke/Support the showApplePodcasts: https://apple.co/2Psx8yd GooglePodcasts: https://shorturl.at/finK1 Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

9 months, 2 weeks назад @ buzzsprout.com
Comand Line Heroes by RedHat Comand Line Heroes by RedHat
последний пост None
Python Bytes Python Bytes
последний пост 1 week назад
#403 A machine learning algorithm walks into a bar…
#403 A machine learning algorithm walks into a bar…

Topics include uv under discussion on Mastodon, erdantic: Entity Relationship Diagrams, , and.

1 week назад @ pythonbytes.fm
#402 How to monetize your blog
#402 How to monetize your blog

Topics include , narwhals, Microsoft wants Three Mile Island to fuel its AI power needs, and zsh-in-docker.

2 weeks назад @ pythonbytes.fm
#401 We must replace uWSGI with something else
#401 We must replace uWSGI with something else

Topics include We must replace uwsgi by something else, Let’s build and optimize a Rust extension for Python, Fake recruiter coding tests target devs with malicious Python packages, and Monthly PSF Board Office Hours.

2 weeks, 6 days назад @ pythonbytes.fm
#400 Celebrating episode 400
#400 Celebrating episode 400

Topics include , Docker images using uv's python, 10 years of sustainable open source, and humanize.

4 weeks назад @ pythonbytes.fm
#399 C will watch you in silence
#399 C will watch you in silence

Topics include Why I Still Use Python Virtual Environments in Docker, Python Developer Survey Results, Anaconda Code add-in for Microsoft Excel, and Disabling Scheduled Dependency Updates.

1 month назад @ pythonbytes.fm
#398 Open source makes you rich? (and other myths)
#398 Open source makes you rich? (and other myths)

Topics include , uv 0.3.0 and all the excitement, Top pytest Plugins, and A comparison of hosts / providers for Python serverless functions Faas)

1 month, 1 week назад @ pythonbytes.fm
#397 So many PyCon videos
#397 So many PyCon videos

Topics include pyawaitable, Annotated area charts with plotnine, DeltaDB, and PyCon US 2024 Recap + Videos are up.

1 month, 2 weeks назад @ pythonbytes.fm
#396 uv-ing your way to Python
#396 uv-ing your way to Python

Topics include uv venv & uv python, Python 3.12.5 released, Compile and use dependencies for multiple Python versions in Tox, and Catalog of Dark Patterns.

1 month, 3 weeks назад @ pythonbytes.fm
#395 pythont compatible packages
#395 pythont compatible packages

Topics include py-free-threading.github.io, Python’s Supportive and Welcoming Environment is Tightly Coupled to Its Progress, Status pages for sites, and PEP 751 – A file format to list Python dependencies for installation reproducibility.

2 months назад @ pythonbytes.fm
#394 Python is easy now?
#394 Python is easy now?

Topics include Python is easy now, Trying out free-threaded Python on macOS, Module itertools overview, and uptime-kuma.

2 months, 1 week назад @ pythonbytes.fm
#393 Dare enter the Bash dungeon?
#393 Dare enter the Bash dungeon?

Topics include Marimo: of Notebooks”, pytest 8.3.0 & 8.3.1 are out, Python Language Summit 2024, and bash-dungeon.

2 months, 2 weeks назад @ pythonbytes.fm
#392 The votes have been counted
#392 The votes have been counted

Topics include 2024 PSF Board Election & Proposed Bylaw Change Results, SATYRN: A modern Jupyter client for Mac, Incident Report: Leaked GitHub Personal Access Token, and.

2 months, 3 weeks назад @ pythonbytes.fm
#391 A weak episode
#391 A weak episode

Topics include Vendorize packages from PyPI, A Guide to Python's Weak References Using weakref Module, Making Time Speak, and How Should You Test Your Machine Learning Project? A Beginner’s Guide.

3 months назад @ pythonbytes.fm
#390 Coding in a Castle
#390 Coding in a Castle

Topics include Joining Strings in Python: A Moment, 10 hard-to-swallow truths they won't tell you about software engineer job, My thoughts on Python in Excel, and.

3 months, 1 week назад @ pythonbytes.fm
#389 More OOP for Python?
#389 More OOP for Python?

Topics include Solara UI Framework, Coverage at a crossroads, and “Virtual” methods in Python classes.

3 months, 2 weeks назад @ pythonbytes.fm
Software Engineering Daily Software Engineering Daily
последний пост 4 days, 8 hours назад
MongoDB Vector Search with Ben Flast
MongoDB Vector Search with Ben Flast

MongoDB Atlas is a managed NoSQL database that uses JSON-like documents with optional schemas. The platform recently released new vector search capabilities to facilitate building AI capabilities. Ben Flast is the Director of Product Management at MongoDB. He joins the show to talk about the company’s developments with vector search. This episode is hosted by

The post MongoDB Vector Search with Ben Flast appeared first on Software Engineering Daily.

4 days, 8 hours назад @ softwareengineeringdaily.com
N64 Recompiled with Darío and Wiseguy
N64 Recompiled with Darío and Wiseguy

Darío and Wiseguy are Nintendo 64 hackers and modders. They are the creators of multiple projects, including RT64 which is an N64 graphics renderer for enhancing games in emulators and native ports. This year, they released N64: Recompiled, which is a tool to statically recompile N64 binaries into C code that can be compiled for

The post N64 Recompiled with Darío and Wiseguy appeared first on Software Engineering Daily.

5 days, 8 hours назад @ softwareengineeringdaily.com
The 2024 Stack Overflow Developer Survey with Erin Yepis and Ryan Polk
The 2024 Stack Overflow Developer Survey with Erin Yepis and Ryan Polk

The Stack Overflow Developer Survey is an annual survey conducted by Stack Overflow that gathers comprehensive insights from developers around the world. It offers a valuable snapshot of the global developer community, covering a wide range of topics such as preferred programming languages, tools, and technologies. Erin Yepis is a Senior Analyst and Ryan Polk

The post The 2024 Stack Overflow Developer Survey with Erin Yepis and Ryan Polk appeared first on Software Engineering Daily.

6 days, 8 hours назад @ softwareengineeringdaily.com
Container Security with Matt Moore
Container Security with Matt Moore

Software supply chain attacks exploit interdependencies within software ecosystems. Security in the supply chain is a growing issue, and is particularly important for companies that rely on large numbers of open source dependencies. Chainguard was founded in 2021 and offers tools and secure container images to improve the security of the software supply chain. Matt

The post Container Security with Matt Moore appeared first on Software Engineering Daily.

1 week, 4 days назад @ softwareengineeringdaily.com
Google Maps Javascript API with Matt Toon
Google Maps Javascript API with Matt Toon

Google’s Maps JavaScript API is a fundamental web technology that’s used to build dynamic and interactive map features in web apps. Matt Toon is a Solutions Engineering Manager for the Google Maps Platform. He joins the podcast with Josh Goldberg to talk about his background working with geospatial data, the development of Google Maps, bringing

The post Google Maps Javascript API with Matt Toon appeared first on Software Engineering Daily.

1 week, 5 days назад @ softwareengineeringdaily.com
AI Pipelines with Maxime Armstrong and Yuhan Luo
AI Pipelines with Maxime Armstrong and Yuhan Luo

LLMs are becoming more mature and accessible, and many teams are now integrating them into common business practices such as technical support bots, online real-time help, and other knowledge-base-related tasks. However, the high cost of maintaining AI teams and operating AI pipelines is becoming apparent. Maxime Armstrong and Yuhan Luo are Software Engineers at Dagster,

The post AI Pipelines with Maxime Armstrong and Yuhan Luo appeared first on Software Engineering Daily.

1 week, 6 days назад @ softwareengineeringdaily.com
Data Management at Capital One with Jim Lebonitte
Data Management at Capital One with Jim Lebonitte

Data is at the center of many business decisions and advances today, including AI-driven capabilities. This requires companies to have well-governed data that is easy for users to find, use and understand. In moving to the cloud, Capital One modernized its data ecosystem and adopted a “You Build, Your Data” model to equip its data

The post Data Management at Capital One with Jim Lebonitte appeared first on Software Engineering Daily.

2 weeks, 4 days назад @ softwareengineeringdaily.com
Creating ESLint with Nicholas Zakas
Creating ESLint with Nicholas Zakas

ESLint is a static code analysis tool for identifying and fixing problems in JavaScript code. It helps developers maintain code quality and consistency by enforcing coding standards and detecting issues such as syntax errors, stylistic problems, and bugs. Nicholas Zakas is the creator of ESLint. He joins the show to talk about working at Yahoo

The post Creating ESLint with Nicholas Zakas appeared first on Software Engineering Daily.

2 weeks, 5 days назад @ softwareengineeringdaily.com
Humane with George Kedenburg III and Josh Dickens
Humane with George Kedenburg III and Josh Dickens

The Humane pin is a multi-modal wearable device designed by Humane Inc., a startup co-founded by former Apple employees Imran Chaudhri and Bethany Bongiorno. This wearable is part of a broader vision to create more seamless and integrated interactions between humans and technology, moving away from traditional screens. George Kedenburg III is a Software Designer

The post Humane with George Kedenburg III and Josh Dickens appeared first on Software Engineering Daily.

2 weeks, 6 days назад @ softwareengineeringdaily.com
Building a Fast Financial Transactions Database with Joran Greef
Building a Fast Financial Transactions Database with Joran Greef

Online transaction processing, or OLTP, is designed for managing high volumes of short, fast, and concurrent transactions, such as data entry and retrieval operations. OLTP systems solve the problem of efficiently handling numerous simultaneous transactions, making them essential for sectors like banking and retail. Joran Dirk Greef is the Founder and CEO of TigerBeetle, which

The post Building a Fast Financial Transactions Database with Joran Greef appeared first on Software Engineering Daily.

3 weeks, 4 days назад @ softwareengineeringdaily.com
Firefox Software Architecture with Brian Grinstead
Firefox Software Architecture with Brian Grinstead

Mozilla Firefox is an open-source web browser developed by the Mozilla Foundation. Since its first major release in 2004, it has stood out on the browser landscape for its emphasis on privacy, security, and customization. Brian Grinstead is a Senior Principal Engineer at Mozilla. He joins the podcast with Kevin Ball to talk about the

The post Firefox Software Architecture with Brian Grinstead appeared first on Software Engineering Daily.

3 weeks, 5 days назад @ softwareengineeringdaily.com
AI Data Analytics at Google with Gerrit Kazmaier
AI Data Analytics at Google with Gerrit Kazmaier

Google needs no introduction, and is renowned for its data and analytics capabilities. Gerrit Kazmaier is the VP and GM for Database, Data Analytics and Looker at Google. He has a long history in the space, and in this episode he speaks with Sean Falconer about data and analytics in the AI era. Sean’s been

The post AI Data Analytics at Google with Gerrit Kazmaier appeared first on Software Engineering Daily.

3 weeks, 6 days назад @ softwareengineeringdaily.com
Building a Collaborative DevOps Platform with Adam Jacob
Building a Collaborative DevOps Platform with Adam Jacob

DevOps is a powerful model for managing the building and operational aspects of modern applications. Most developers are now familiar with DevOps, and the adoption of DevOps practices is widespread and growing. Adam Jacob was the original author of Chef, a popular early DevOps tool. He’s now the CEO of System Initiative, which develops an

The post Building a Collaborative DevOps Platform with Adam Jacob appeared first on Software Engineering Daily.

1 month назад @ softwareengineeringdaily.com
React 18 at The New York Times with Ilya Gurevich
React 18 at The New York Times with Ilya Gurevich

React is an open-source front-end JavaScript library maintained by Meta. It was first released in 2013 and is now the most popular web framework. Ilya Gurevich is a Senior Software Engineer at The New York Times. Last winter, his team set out to implement React 18 for The Times’ flagship core news site. Ilya recently

The post React 18 at The New York Times with Ilya Gurevich appeared first on Software Engineering Daily.

1 month назад @ softwareengineeringdaily.com
Lekko and Dynamic Configuration with Konrad Niemiec
Lekko and Dynamic Configuration with Konrad Niemiec

Feature flagging tools have grown in popularity as a way to decouple releases and deployment, but they can introduce their own long-term problems and tech debt. Lekko is a startup democratizing the practice of dynamic configuration. Their motivating idea is to empower engineers to focus on software releases, and business teams and other stakeholders to

The post Lekko and Dynamic Configuration with Konrad Niemiec appeared first on Software Engineering Daily.

1 month назад @ softwareengineeringdaily.com
Habr Podcasts Habr Podcasts
последний пост None
Мысли и Методы Мысли и Методы
последний пост None
⌨ Coding
Martin Fowler
последний пост 3 days, 9 hours назад
Interviewed by Book Overflow podcast on Refactoring
Interviewed by Book Overflow podcast on Refactoring Interviewed by Book Overflow podcast on Refactoring

I was interviewed on the Book Overflow podcast about the Refactoring book. We talked about the origins of the book, the relationship between refactoring, testing, and extreme programming, how refactoring is used in the wild, and the role of books and long-form prose today.

more…

3 days, 9 hours назад @ youtube.com
Using GenAI to build a capability map and translate legacy systems
Using GenAI to build a capability map and translate legacy               systems Using GenAI to build a capability map and translate legacy systems

Through modernizing numerous legacy systems for our clients, we have found that an evolutionary approach makes legacy displacement both safer and more effective at achieving its value goals.

For our part, we have been experimenting over the last 18 months with LLMs to tackle the challenges associated with the modernization of legacy systems.

Our goal is for this accelerator to become our sensible default in legacy modernization, enhancing our modernization value stream and enabling us to realize the benefits for our clients more efficiently.

These are some of the most significant legacy systems we encounter, both in terms of size and complexity.

In the era of GenAI, specifically in the mode…

1 week, 6 days назад @ martinfowler.com
Using GenAI to extract low-level details and high-level explanations from legacy systems
Using GenAI to extract low-level details and high-level               explanations from legacy systems Using GenAI to extract low-level details and high-level explanations from legacy systems

Through modernizing numerous legacy systems for our clients, we have found that an evolutionary approach makes legacy displacement both safer and more effective at achieving its value goals.

For our part, we have been experimenting over the last 18 months with LLMs to tackle the challenges associated with the modernization of legacy systems.

Our goal is for this accelerator to become our sensible default in legacy modernization, enhancing our modernization value stream and enabling us to realize the benefits for our clients more efficiently.

These are some of the most significant legacy systems we encounter, both in terms of size and complexity.

In the era of GenAI, specifically in the mode…

2 weeks, 5 days назад @ martinfowler.com
Legacy Modernization meets GenAI
Legacy Modernization meets GenAI Legacy Modernization meets GenAI

Our goal is for this accelerator to become our sensible default in legacy modernization, enhancing our modernization value stream and enabling us to realize the benefits for our clients more efficiently.

We intend to use this article to share our experience applying GenAI for Modernization.

We do not suggest that CodeConcise or its approach is the only way to apply GenAI successfully for modernization.

While some approaches at this stage are common across legacy tech stacks, we have also engineered prompts in our comprehension pipeline tailored to specific languages or frameworks.

This DBMS features vector search capabilities, enabling us to integrate the Knowledge Graph into the frontend a…

2 weeks, 6 days назад @ martinfowler.com
Governing data products using fitness functions
Governing data products using fitness functions Governing data products using fitness functions

It’s a common practice to have an organization wide data catalog to index these data products, they typically contain rich metadata about all published data products.

Your job is to look at the meta data about a data product provided and evaluate if certain architectural properties of the data product holds true or not.

Your job is to look at the meta data about a data product provided and evaluate if certain architectural properties of the data product holds true or not.

} }) Product_Id data product: We expect this data product to fail the test for valuable_on_its_own.

However, this does not absolve the data product teams from considering the specific requirements of their domain when buil…

1 month назад @ martinfowler.com
Bliki: Cycle Time
Bliki: Cycle Time Bliki: Cycle Time

Cycle Time is a measure of how long it takes to get a new feature in a software system from idea to running in production.

Although the rough notion of cycle time, and the importance of reducing it, is common, there is a lot of variations on how cycle time is measured.

“first-commit cycle time” vs “idea cycle time”) to tell them apart.

Understanding this flow of work allows us to find ways to reduce the cycle time.

Further Reading The best grounding on understanding cycle time and how to reduce it is The Principles of Product Development Flow

1 month назад @ martinfowler.com
Rewriting Strangler Fig
Rewriting Strangler Fig Rewriting Strangler Fig

Martin Fowler: 22 Aug 2024Two decades ago, I posted that I found that the strangler fig plant was an interesting metaphor for the gradual replacement of a legacy system.

I didn’t refer to the metaphor since, but meanwhile it grew a life of its own.

Other people increasingly referred to the strangler fig approach to modernization, and traffic to that post steadily increased: currently it gets about 5000 page views a month, one of the more popular pages on this site.

So I decided I needed to update that page, and have rewritten it, focusing on the core activities we need to do to make a success of such a venture.

(This summarizes more detailed writing from Ian Cartwright, Rob Horn, and Jame…

1 month, 2 weeks назад @ martinfowler.com
Onboarding to a "legacy" codebase with the help of AI
Onboarding to a "legacy" codebase with the help of AI Onboarding to a "legacy" codebase with the help of AI

As well as the speed of the feedback loop for the AI input, I also reflect on the reliability of that feedback loop.

They will give additional input and review for the AI input, and increase my confidence.

The lower the margin for error, the more critical I will be of the AI input.

There is a mindset shift we have to make when using Generative AI tools in general.

When you adjust these expectations, and give yourself some time to understand the behaviours and quirks of the eager donkey, you’ll get more out of AI coding assistants.

1 month, 3 weeks назад @ martinfowler.com
Refresh of the PoEAA catalog page
Refresh of the PoEAA catalog page Refresh of the PoEAA catalog page

Martin Fowler: 31 Jul 2024From time to time I take a look at my site analytics to see how much traffic various bits of this site get.

When doing this I saw that I continue to get a lot of traffic to the Catalog of Patterns of Enterprise Application Architecture.

I put this together not long after writing the book, and it’s rather minimal.

I’ve changed the main catalog page to include the pattern intents.

I’ve also added deep links to the book on oreilly.com, so if you have a subscription to that, it will jump directly to that text.

2 months, 1 week назад @ martinfowler.com
Instead of restricting AI and algorithms, make them explainable
Instead of restricting AI and algorithms, make them explainable Instead of restricting AI and algorithms, make them explainable

In one example, its about “algorithmic” feeds in social media that promote posts that drive engagement.

Faced with these concerns, there is often a movement to restrict the use of algorithms, such as a recent activity in New York to restrict how social media networks generate feeds for children.

In my view, the restricting the use of algorithms and AI here isn't the right target.

A regulation that says a social media company should forego its “algorithm” for a reverse-chronological feed misses the fact that a reverse-chronological feed is itself an algorithm.

This is not to say that we should have laws saying that all software decisions need detailed explanations.

2 months, 1 week назад @ martinfowler.com
Instead of restricting AI and algorithms, make them explainable
Instead of restricting AI and algorithms, make them explainable Instead of restricting AI and algorithms, make them explainable

In one example, its about “algorithmic” feeds in social media that promote posts that drive engagement.

Faced with these concerns, there is often a movement to restrict the use of algorithms, such as a recent activity in New York to restrict how social media networks generate feeds for children.

In my view, the restricting the use of algorithms and AI here isn’t the right target.

A regulation that says a social media company should forego its “algorithm” for a reverse-chronological feed misses the fact that a reverse-chronological feed is itself an algorithm.

This is not to say that we should have laws saying that all software decisions need detailed explanations.

2 months, 1 week назад @ martinfowler.com
Testing server calls in generated HTML
Testing server calls in generated HTML Testing server calls in generated HTML

When writing a web application in Go or Java, HTML is commonly generated through templates, which contain small fragments of logic.

It turns out that test-driving HTML templates is easy; let's see how to do it in Go and Java.

case nil: // do nothing default: t.Fatalf("Error parsing html: %s", err) } } } source This code configures the HTML parser to have the right level of leniency for HTML, and then parses the HTML token by token.

Level 3: testing HTML behaviour In the story so far, we tested the behaviour of the HTML templates, by checking the structure of the generated HTML.

*?>", "") // strip all HTML tags: block elements html = replaceAll(html, "<[^>]*>", " ") // replace HTML character…

4 months назад @ martinfowler.com
Testing the behavior of generated HTML
Testing the behavior of generated HTML Testing the behavior of generated HTML

When writing a web application in Go or Java, HTML is commonly generated through templates, which contain small fragments of logic.

It turns out that test-driving HTML templates is easy; let's see how to do it in Go and Java.

This code configures the HTML parser to have the right level of leniency for HTML, and then parses the HTML token by token.

There is an HTML parser in the Go standard library, but it is too lenient: if we run it on our broken HTML, we don't get an error.

One way to do this is by running queries with the CSS selector language: it is a powerful language that allows us to select the elements that we care about from the whole HTML document.

4 months, 1 week назад @ martinfowler.com
Parameterizing HTML template tests
Parameterizing HTML template tests Parameterizing HTML template tests

When writing a web application in Go or Java, HTML is commonly generated through templates, which contain small fragments of logic.

It turns out that test-driving HTML templates is easy; let's see how to do it in Go and Java.

This code configures the HTML parser to have the right level of leniency for HTML, and then parses the HTML token by token.

There is an HTML parser in the Go standard library, but it is too lenient: if we run it on our broken HTML, we don't get an error.

One way to do this is by running queries with the CSS selector language: it is a powerful language that allows us to select the elements that we care about from the whole HTML document.

4 months, 1 week назад @ martinfowler.com
Prefetching in Single-Page Applications
Prefetching in Single-Page Applications Prefetching in Single-Page Applications

In this article, I would like to discuss some common problems and patterns you should consider when it comes to fetching data in your frontend applications.

To accelerate the initial data loading process, we'll explore strategies for avoiding Request Waterfall and implementing Parallel Data Fetching.

For applications that are limited in scope — with just a few pages and several data fetching operations — it's often practical and also recommended to maintain data fetching within the UI components.

The main reason to not use parallel data fetching is when we don't know what data needs to be fetched until we've already fetched some data.

In summary, we've already explored critical data fetchin…

4 months, 1 week назад @ martinfowler.com
Антон Жиянов Антон Жиянов
последний пост 2 months, 3 weeks назад
Курс «Многозадачность в Go»
Курс «Многозадачность в Go» Курс «Многозадачность в Go»

Осваиваем многозадачное программирование на практике.

2 months, 3 weeks назад @ antonz.ru
Таймеры в Go 1.23
Таймеры в Go 1.23 Таймеры в Go 1.23

Тут прям детективная история приключилась.

В Go есть таймер (тип Timer ), а в нем — поле с каналом ( Timer.C ), в который таймер тикает спустя указанное время.

В коде стдлибы таймер создается так:Такая реализация привела к проблемам с time.After и Reset , от которых многие страдали.

И вот в Go 1.23 решили это исправить, для чего сделали канал в таймере небуферизованным:Вот только если вы посмотрите на фактический код, то канал-то остался буферизованным 😁Из комментариев к коммиту выясняется, что канал действительно остался буферизованным, но притворяется, что никакого буфера у него нет:Specifically, the timer channel has a 1-element buffer like it always has, but len(t.C) and cap(t.C) are sp…

3 months назад @ antonz.ru
Полносрезное выражение в Go
Полносрезное выражение в Go Полносрезное выражение в Go

Меняем емкость при нарезке.

3 months, 1 week назад @ antonz.ru
Пустой срез vs. nil-срез в Go
Пустой срез vs. nil-срез в Go Пустой срез vs. nil-срез в Go

Чем отличаются и как с ними работать.

3 months, 2 weeks назад @ antonz.ru
Запускаем 100К горутин в Go
Запускаем 100К горутин в Go Запускаем 100К горутин в Go

Сколько можно запустить горутин и от чего это зависит.

3 months, 2 weeks назад @ antonz.ru
Приемчики форматирования в Go
Приемчики форматирования в Go Приемчики форматирования в Go

Несколько приемов форматирования, о которых вы, возможно, не слышали.

➊ Закавыченная строкаИспользуйте %q , чтобы вывести строковое значение в кавычках.

➋ Названия полей структурыИспользуйте %+v , чтобы вывести названия полей структуры, а не только значения.

➌ Тип значенияИспользуйте %T , чтобы вывести тип значения.

3 months, 3 weeks назад @ antonz.ru
range по функциям в Go
range по функциям в Go range по функциям в Go

В Go 1.23 (август 2024) появится цикл range по функциям.

Сделали ему конструктор и метод Set :Хорошо, а как теперь итерироваться по карте?

Стоило ли оно тогоСтоило ли добавлять в язык range-over-func?

С появлением дженериков в 1.18 по простоте языка был нанесен серьезный удар (вероятно, оправданный).

Ждут нас и корутины, и стримы, и паттерн-матчинг.

3 months, 3 weeks назад @ antonz.ru
Go Generics
Go Generics Go Generics

Урок по дженерикам в Go.

3 months, 4 weeks назад @ antonz.ru
nil-получатель метода в Go
nil-получатель метода в Go nil-получатель метода в Go

Раз уж мы заговорили о пустых значениях — вы же в курсе, что метод можно вызвать даже на пустом указателе?

type english struct { name string } // e может быть nil!

func ( e * english ) greet () { if e == nil { fmt .

Println ( "I'm nil" ) return } fmt .

Println ( "Hello" , e . name ) }

4 months назад @ antonz.ru
Интерфейсы и nil в Go
Интерфейсы и nil в Go Интерфейсы и nil в Go

Интерфейсы и nil в GoВнутри Go переменная типа interface представлена как пара (type, value) , где value — конкретное значение, а type — тип этого значения (на самом деле все чуть сложнее, но совсем уж в дебри не будем погружаться).

Пока интерфейсной переменной не присвоено значение, у нее и type , и value равны nil , поэтому сама переменная считается равной nil :var ivar any // type == nil, value == nil // поэтому ivar == nil fmt .

Println ( ivar == nil ) // trueНо как только интерфейсной переменной присвоили значение, type перестает быть nil .

Println ( e == nil ) // true ivar = e // type == *english, value == nil // поскольку type != nil, то ivar != nil fmt .

Println ( ivar == nil ) // f…

4 months назад @ antonz.ru
Современный SQLite: STRICT-таблицы
Современный SQLite: STRICT-таблицы Современный SQLite: STRICT-таблицы

Я начинаю серию коротких заметок о полезных функциях современного SQLite, про которые вы (возможно) не слышали.

Как вы наверняка знаете, SQLite обладает гибкой системой типов (за что некоторые даже называют его «джаваскриптом в мире СУБД»).

Вы можете хранить любые значения в столбцах любых типов: например, строки в INTEGER-столбце или бинарные данные в REAL-столбце.

Кто-то любит SQLite за эту гибкость, другие ненавидят за нее же.

Поэтому в какой-то момент авторы SQLite добавили «строгие» (STRICT) таблицы:Они проверяют типы так же, как традиционные СУБД вроде PostgreSQL или MySQL:Даже в строгой таблице можно объявить столбец как ANY — тогда в нем можно хранить значения любых типов.

5 months назад @ antonz.ru
Замыкание = гибкость
Замыкание = гибкость Замыкание = гибкость

Замыкания в Go используются повсеместно.

Они позволяют универсально использовать один и тот же инструмент для работы в разных ситуациях.

Вот, например, карта в пакете sync — sync.Map :Чтобы проитерироваться по карте, предусмотрен метод Range с такой сигнарутой:Но что делать, если мы хотим просуммировать все значения карты?

Кажется, Range не дает такой возможности.

Ну или использовать замыкание:

8 months назад @ antonz.ru
Метод на значении / указателе в Go
Метод на значении / указателе в Go Метод на значении / указателе в Go

Cat does not implement Meower (method Meow has pointer receiver)

8 months, 1 week назад @ antonz.ru