Data Engineering
про инжиниринг данных и аналитику
🏢 %company% Engineering
AirBnb Engineering
последний пост 3 days, 17 hours назад
Embedding-Based Retrieval for Airbnb Search
Embedding-Based Retrieval for Airbnb Search Embedding-Based Retrieval for Airbnb Search

Our journey in applying embedding-based retrieval techniques to build an accurate and scalable candidate retrieval system for Airbnb Homes searchAuthors: Mustafa (Moose) Abdool, Soumyadip Banerjee, Karen Ouyang, Do-Kyum Kim, Moutupsi Paul, Xiaowei Liu, Bin Xu, Tracy Yu, Hui Gao, Yangbo Zhu, Huiji Gao, Liwei He, Sanjeev KatariyaIntroductionSearch plays a crucial role in helping Airbnb guests find the perfect stay. The goal of Airbnb Search is to surface the most relevant listings for each user’s query — but with millions of available homes, that’s no easy task. It’s especially difficult when searches include large geographic areas (like California or France) or high-demand destinations (like…

3 days, 17 hours назад @ medium.com
Accelerating Large-Scale Test Migration with LLMs
Accelerating Large-Scale Test Migration with LLMs Accelerating Large-Scale Test Migration with LLMs

by: Charles Covey-BrandtAirbnb recently completed our first large-scale, LLM-driven code migration, updating nearly 3.5K React component test files from Enzyme to use React Testing Library (RTL) instead. We’d originally estimated this would take 1.5 years of engineering time to do by hand, but — using a combination of frontier models and robust automation — we finished the entire migration in just 6 weeks.In this blog post, we’ll highlight the unique challenges we faced migrating from Enzyme to RTL, how LLMs excel at solving this particular type of challenge, and how we structured our migration tooling to run an LLM-driven migration at scale.BackgroundIn 2020, Airbnb adopted React Testing L…

1 week, 2 days назад @ medium.com
Improving Search Ranking for Maps
Improving Search Ranking for Maps Improving Search Ranking for Maps

How Airbnb is adapting ranking for our map interface.Malay Haldar, Hongwei Zhang, Kedar Bellare Sherry ChenSearch is the core mechanism that connects guests with Hosts at Airbnb. Results from a guest’s search for listings are displayed through two interfaces: (1) as a list of rectangular cards that contain the listing image, price, rating, and other details on it, referred to as list-results and (2) as oval pins on a map showing the listing price, called map-results. Since its inception, the core of the ranking algorithm that powered both these interfaces was the same — ordering listings by their booking probabilities and selecting the top listings for display.But some of the basic assumpti…

3 months назад @ medium.com
Airbnb at KDD 2024
Airbnb at KDD 2024 Airbnb at KDD 2024

Airbnb had a large presence at the 2024 KDD conference hosted in Barcelona, Spain. Our Data Scientist and Engineers presented on topics like Deep Learning & Search Ranking, Online Experimentation & Measurement, Product Quality & Customer Journey, and Two-sided Marketplaces. This blog post summarizes our contributions to KDD for 2024 and provides access to the academic papers presented during the conference.Authors: Huiji Gao, Peter Coles, Carolina Barcenas, Sanjeev KatariyaKDD (Knowledge and Data Mining) is one of the most prestigious global conferences in data mining and machine learning. Hosted annually by a special interest group of the Association for Computing Machinery (ACM), it’s whe…

3 months назад @ medium.com
My Journey To Airbnb | Vijaya Kaza
My Journey To Airbnb | Vijaya Kaza My Journey To Airbnb | Vijaya Kaza

Vijaya Kaza is the Chief Security Officer and Head of Engineering for Trust and Safety at Airbnb. She leads teams responsible for developing the technology (Platforms, tools and AI models), to safeguard the Airbnb community, as well as for securing Airbnb’s infrastructure and information assets. She is also the executive co-sponsor of Airbnb Tech’s Diversity Council.Here’s Vijaya’s story of how she got to Airbnb, in her own words.Straight shot to science and engineeringI grew up in a modest, multi-generational family in India with 30 to 40 family members under one roof on any given day. As the oldest child in that house, I was expected to excel academically and set an example for the other …

3 months, 2 weeks назад @ medium.com
From Data to Insights: Segmenting Airbnb’s Supply
From Data to Insights: Segmenting Airbnb’s Supply From Data to Insights: Segmenting Airbnb’s Supply

How Airbnb uses data-driven segmentation to understand supply availability patterns.By: Alexandre Salama, Tim AbrahamIntroductionAt Airbnb, our supply comes from hosts who decide to list their spaces on our platform. Unlike traditional hotels, these spaces are not all interchangeable units in a building that are available to book year-round. Our hosts are people, with different earnings objectives and schedule constraints — leading to different levels of availability to host. Understanding these differences is a key input into how we develop our products, campaigns, and operations.Over the years, we’ve created various ways to measure host availability, developing “features” that capture dif…

3 months, 3 weeks назад @ medium.com
Building a User Signals Platform at Airbnb
Building a User Signals Platform at Airbnb Building a User Signals Platform at Airbnb

How Airbnb built a stream processing platform to power user personalization.By: Kidai Kwon, Pavan Tambay, Xinrui Hua, Soumyadip (Soumo) Banerjee, Phanindra (Phani) GantiOverviewUnderstanding user actions is critical for delivering a more personalized product experience. In this blog, we will explore how Airbnb developed a large-scale, near real-time stream processing platform for capturing and understanding user actions, which enables multiple teams to easily leverage real-time user activities. Additionally, we will discuss the challenges encountered and valuable insights gained from operating a large-scale stream processing platform.BackgroundAirbnb connects millions of guests with unique …

4 months назад @ medium.com
Airbnb’s AI-powered photo tour using Vision Transformer
Airbnb’s AI-powered photo tour using Vision Transformer Airbnb’s AI-powered photo tour using Vision Transformer

Boosting computer vision accuracy and performance at AirbnbBy: Pei Xiong, Aaron Yin, Jian Zhang, Lifan Yang, Lu Zhang, Dean ChenIntroductionIn recent years, the integration of artificial intelligence with travel platforms has transformed how people search for and book accommodations. As a leading global marketplace for unique travel experiences and accommodations, Airbnb constantly strives to enhance the guest experience by providing informative content about the variety of homes shared by our hosts. One of the ways we help guests better understand what a listing offers before they book is through our AI-powered photo tour feature.The AI-powered photo tour in the Listings tab, which helps h…

4 months, 1 week назад @ medium.com
Adopting Bazel for Web at Scale
Adopting Bazel for Web at Scale Adopting Bazel for Web at Scale

How and Why We Migrated Airbnb’s Large-Scale Web Monorepo to BazelBy: Brie Bunge and Sharmila JesupaulIntroductionAt Airbnb, we’ve recently adopted Bazel — Google’s open source build tool–as our universal build system across backend, web, and iOS platforms. This post will cover our experience adopting Bazel for Airbnb’s large-scale (over 11 million lines of code) web monorepo. We’ll share how we prepared the code base, the principles that guided the migration, and the process of migrating selected CI jobs. Our goal is to share information that would have been valuable to us when we embarked on this journey and to contribute to the growing discussion around Bazel for web development.Why did …

4 months, 1 week назад @ medium.com
Transforming Location Retrieval at Airbnb: A Journey from Heuristics to Reinforcement Learning
Transforming Location Retrieval at Airbnb: A Journey from Heuristics to Reinforcement Learning Transforming Location Retrieval at Airbnb: A Journey from Heuristics to Reinforcement Learning

How Airbnb leverages machine learning and reinforcement learning techniques to solve a unique information retrieval task in order to provide guests with unique, affordable, and differentiated accommodations around the world.By: Dillon Davis, Huiji Gao, Thomas Legrand, Weiwei Guo, Malay Haldar, Alex Deng, Han Zhao, Liwei He, Sanjeev KatariyaIntroductionAirbnb has transformed the way people travel around the globe. As Airbnb’s inventory spans diverse locations and property types, providing guests with relevant options in their search results has become increasingly complex. In this blog post, we’ll discuss shifting from using simple heuristics to advanced machine learning and reinforcement le…

4 months, 1 week назад @ medium.com
Automation Platform v2: Improving Conversational AI at Airbnb
Automation Platform v2: Improving Conversational AI at Airbnb Automation Platform v2: Improving Conversational AI at Airbnb

How Airbnb’s conversational AI platform powers LLM application development.By Chutian Wang, Zhiheng Xu, Paul Lou, Ziyi Wang, Jiayu Lou, Liuming Zhang, Jingwen Qiang, Clint Kelly, Lei Shi, Dan Zhao, Xu Hu, Jianqi Liao, Zecheng Xu, Tong ChenIntroductionArtificial intelligence and large language models (LLMs) are a rapidly evolving sector at the forefront of technological innovation. AI’s capacity for logical reasoning and task completion is changing the way we interact with technology.In this blog post, we will showcase how we advanced Automation Platform, Airbnb’s conversational AI platform, from version 1, which supported conversational systems driven by static workflows, to version 2, whic…

4 months, 3 weeks назад @ medium.com
Sandcastle: data/AI apps for everyone
Sandcastle: data/AI apps for everyone Sandcastle: data/AI apps for everyone

Airbnb made it easy to bring data/AI ideas to life through a platform for prototyping web applications.By: Dan MillerWarm, friendly beach capturing the playful nature of prototyping.IntroductionTrustworthy data has always been a part of Airbnb’s technical DNA. However, it is challenging for our data scientists and ML practitioners to bring data- and AI-powered product ideas to life in a way that resonates with our design-focused leadership. Slide decks with screenshots, design documents with plots, and even Figmas are insufficient to capture ideas that need to be experienced in order to be understood. This was especially true as large language models (LLMs) took the world by storm, since th…

5 months, 4 weeks назад @ medium.com
Riverbed Data Hydration — Part 1
Riverbed Data Hydration — Part 1 Riverbed Data Hydration — Part 1

Riverbed Data Hydration — Part 1A deep dive into the streaming aspect of the Lambda architecture framework that optimizes how data is consumed from system-of-record data stores and updates secondary read-optimized stores at Airbnb.OverviewIn our previous blog post we introduced the motivation and high-level architecture of Riverbed. As a recap, Riverbed is a part of Airbnb’s tech stack designed to streamline and optimize how data is consumed from system-of-record data stores and update secondary read-optimized stores. The framework is built around the concept of ‘materialized views’ — denormalized representations of data that can be queried in a predictable, efficient manner. The primary go…

6 months, 1 week назад @ medium.com
Building Postcards for “Airbnb” Scale
Building Postcards for “Airbnb” Scale Building Postcards for “Airbnb” Scale

By: Leo Wong, Henry JohnsonHow the Airbnb Media team built group travel Postcards for the 2024 Summer Release by leveraging a novel destination matching algorithm while advancing the platform’s image & localized text processing capabilities.Airbnb Postcards (see announcement).IntroductionFor Airbnb’s 2024 Summer Release, the Media Ingestion team at Airbnb took on the exciting challenge of creating a reliable postcard generation system to generate unique, hand-crafted Postcards. Postcards are a beautiful way to invite guests on a trip while keeping friends and family in the loop (see announcement). This feature required a novel solution to match relevant postcards to every possible destinati…

6 months, 3 weeks назад @ medium.com
Personal Data Classification
Personal Data Classification Personal Data Classification

An Important Foundation For Security, Privacy, and Compliance at AirbnbBy: Sam Kim, Alex Klimov, Woody Zhou, Sylvia Tomiyama, Aniket Arondekar, Ansuman AcharyaIntroductionAirbnb is built on trust. One key way we maintain trust with our community is by ensuring that personal data is handled with care, in a manner that meets security, privacy, and compliance requirements. Understanding where and what personal data exists is foundational to this.Over the past several years, we’ve built our own data classification system that adapts to the needs of our data ecosystem, to streamline our processes, and further unlock our ability to protect the data entrusted to Airbnb. This was made possible by m…

7 months назад @ medium.com
Netflix Engineering Netflix Engineering
последний пост 2 weeks, 4 days назад
Title Launch Observability at Netflix Scale
Title Launch Observability at Netflix Scale Title Launch Observability at Netflix Scale

Part 3: System Strategies and ArchitectureBy: Varun KhaitanWith special thanks to my stunning colleagues: Mallika Rao, Esmir Mesic, Hugo MarquesThis blog post is a continuation of Part 2, where we cleared the ambiguity around title launch observability at Netflix. In this installment, we will explore the strategies, tools, and methodologies that were employed to achieve comprehensive title observability at scale.Defining the observability endpointTo create a comprehensive solution, we decided to introduce observability endpoints first. Each microservice involved in our Personalization stack that integrated with our observability solution had to introduce a new “Title Health” endpoint. Our g…

2 weeks, 4 days назад @ netflixtechblog.com
Introducing Impressions at Netflix
Introducing Impressions at Netflix Introducing Impressions at Netflix

Part 1: Creating the Source of Truth for ImpressionsBy: Tulika BhattImagine scrolling through Netflix, where each movie poster or promotional banner competes for your attention. Every image you hover over isn’t just a visual placeholder; it’s a critical data point that fuels our sophisticated personalization engine. At Netflix, we call these images ‘impressions,’ and they play a pivotal role in transforming your interaction from simple browsing into an immersive binge-watching experience, all tailored to your unique tastes.Capturing these moments and turning them into a personalized journey is no simple feat. It requires a state-of-the-art system that can track and process these impressions…

1 month назад @ netflixtechblog.com
Title Launch Observability at Netflix Scale
Title Launch Observability at Netflix Scale Title Launch Observability at Netflix Scale

Part 2: Navigating AmbiguityBy: Varun KhaitanWith special thanks to my stunning colleagues: Mallika Rao, Esmir Mesic, Hugo MarquesBuilding on the foundation laid in Part 1, where we explored the “what” behind the challenges of title launch observability at Netflix, this post shifts focus to the “how.” How do we ensure every title launches seamlessly and remains discoverable by the right audience?In the dynamic world of technology, it’s tempting to leap into problem-solving mode. But the key to lasting success lies in taking a step back — understanding the broader context before diving into solutions. This thoughtful approach doesn’t just address immediate hurdles; it builds the resilience a…

2 months, 2 weeks назад @ netflixtechblog.com
Part 3: A Survey of Analytics Engineering Work at Netflix
Part 3: A Survey of Analytics Engineering Work at Netflix Part 3: A Survey of Analytics Engineering Work at Netflix

This article is the last in a multi-part series sharing a breadth of Analytics Engineering work at Netflix, recently presented as part of our annual internal Analytics Engineering conference. Need to catch up? Check out Part 1, which detailed how we’re empowering Netflix to efficiently produce and effectively deliver high quality, actionable analytic insights across the company and Part 2, which stepped through a few exciting business applications for Analytics Engineering. This post will go into aspects of technical craft.Dashboard Design TipsRina Chang, Susie LuWhat is design, and why does it matter? Often people think design is about how things look, but design is actually about how thin…

2 months, 2 weeks назад @ netflixtechblog.com
Part 2: A Survey of Analytics Engineering Work at Netflix
Part 2: A Survey of Analytics Engineering Work at Netflix Part 2: A Survey of Analytics Engineering Work at Netflix

This article is the second in a multi-part series sharing a breadth of Analytics Engineering work at Netflix, recently presented as part of our annual internal Analytics Engineering conference. Need to catch up? Check out Part 1. In this article, we highlight a few exciting analytic business applications, and in our final article we’ll go into aspects of the technical craft.Game AnalyticsYimeng Tang, Claire Willeck, Sagar PalaoUser Acquisition Incrementality for Netflix GamesNetflix has been launching games for the past three years, during which it has initiated various marketing efforts, including User Acquisition (UA) campaigns, to promote these games across different countries. These UA …

2 months, 2 weeks назад @ netflixtechblog.com
Introducing Configurable Metaflow
Introducing Configurable Metaflow Introducing Configurable Metaflow

David J. Berg*, David Casler^, Romain Cledat*, Qian Huang*, Rui Lin*, Nissan Pow*, Nurcan Sonmez*, Shashank Srikanth*, Chaoying Wang*, Regina Wang*, Darin Yu**: Model Development Team, Machine Learning Platform^: Content Demand Modeling TeamA month ago at QConSF, we showcased how Netflix utilizes Metaflow to power a diverse set of ML and AI use cases, managing thousands of unique Metaflow flows. This followed a previous blog on the same topic. Many of these projects are under constant development by dedicated teams with their own business goals and development best practices, such as the system that supports our content decision makers, or the system that ranks which language subtitles are …

3 months назад @ netflixtechblog.com
Part 1: A Survey of Analytics Engineering Work at Netflix
Part 1: A Survey of Analytics Engineering Work at Netflix Part 1: A Survey of Analytics Engineering Work at Netflix

This article is the first in a multi-part series sharing a breadth of Analytics Engineering work at Netflix, recently presented as part of our annual internal Analytics Engineering conference. We kick off with a few topics focused on how we’re empowering Netflix to efficiently produce and effectively deliver high quality, actionable analytic insights across the company. Subsequent posts will detail examples of exciting analytic engineering domain applications and aspects of the technical craft.At Netflix, we seek to entertain the world by ensuring our members find the shows and movies that will thrill them. Analytics at Netflix powers everything from understanding what content will excite a…

3 months назад @ netflixtechblog.com
Cloud Efficiency at Netflix
Cloud Efficiency at Netflix Cloud Efficiency at Netflix

By J Han, Pallavi PhadnisContextAt Netflix, we use Amazon Web Services (AWS) for our cloud infrastructure needs, such as compute, storage, and networking to build and run the streaming platform that we love. Our ecosystem enables engineering teams to run applications and services at scale, utilizing a mix of open-source and proprietary solutions. In turn, our self-serve platforms allow teams to create and deploy, sometimes custom, workloads more efficiently. This diverse technological landscape generates extensive and rich data from various infrastructure entities, from which, data engineers and analysts collaborate to provide actionable insights to the engineering organization in a continu…

3 months назад @ netflixtechblog.com
Title Launch Observability at Netflix Scale
Title Launch Observability at Netflix Scale Title Launch Observability at Netflix Scale

Part 1: Understanding The ChallengesBy: Varun KhaitanWith special thanks to my stunning colleagues: Mallika Rao, Esmir Mesic, Hugo MarquesIntroductionAt Netflix, we manage over a thousand global content launches each month, backed by billions of dollars in annual investment. Ensuring the success and discoverability of each title across our platform is a top priority, as we aim to connect every story with the right audience to delight our members. To achieve this, we are committed to building robust systems that deliver comprehensive observability, enabling us to take full accountability for every title on our service.The Challenge of Title Launch ObservabilityAs engineers, we’re wired to tr…

3 months назад @ netflixtechblog.com
Netflix’s Distributed Counter Abstraction
Netflix’s Distributed Counter Abstraction Netflix’s Distributed Counter Abstraction

By: Rajiv Shringi, Oleksii Tkachuk, Kartik SathyanarayananIntroductionIn our previous blog post, we introduced Netflix’s TimeSeries Abstraction, a distributed service designed to store and query large volumes of temporal event data with low millisecond latencies. Today, we’re excited to present the Distributed Counter Abstraction. This counting service, built on top of the TimeSeries Abstraction, enables distributed counting at scale while maintaining similar low latency performance. As with all our abstractions, we use our Data Gateway Control Plane to shard, configure, and deploy this service globally.Distributed counting is a challenging problem in computer science. In this blog post, we…

4 months, 1 week назад @ netflixtechblog.com
Investigation of a Workbench UI Latency Issue
Investigation of a Workbench UI Latency Issue Investigation of a Workbench UI Latency Issue

By: Hechao Li and Marcelo MaywormWith special thanks to our stunning colleagues Amer Ather, Itay Dafna, Luca Pozzi, Matheus Leão, and Ye Ji.OverviewAt Netflix, the Analytics and Developer Experience organization, part of the Data Platform, offers a product called Workbench. Workbench is a remote development workspace based on Titus that allows data practitioners to work with big data and machine learning use cases at scale. A common use case for Workbench is running JupyterLab Notebooks.Recently, several users reported that their JupyterLab UI becomes slow and unresponsive when running certain notebooks. This document details the intriguing process of debugging this issue, all the way from …

5 months, 1 week назад @ netflixtechblog.com
Introducing Netflix TimeSeries Data Abstraction Layer
Introducing Netflix TimeSeries Data Abstraction Layer Introducing Netflix TimeSeries Data Abstraction Layer

Rajiv Shringi Vinay Chella Kaidan Fullerton Oleksii Tkachuk Joey LynchIntroductionAs Netflix continues to expand and diversify into various sectors like Video on Demand and Gaming, the ability to ingest and store vast amounts of temporal data — often reaching petabytes — with millisecond access latency has become increasingly vital. In previous blog posts, we introduced the Key-Value Data Abstraction Layer and the Data Gateway Platform, both of which are integral to Netflix’s data architecture. The Key-Value Abstraction offers a flexible, scalable solution for storing and accessing structured key-value data, while the Data Gateway Platform provides essential infrastructure for protecting, c…

5 months, 2 weeks назад @ netflixtechblog.com
Introducing Netflix’s Key-Value Data Abstraction Layer
Introducing Netflix’s Key-Value Data Abstraction Layer Introducing Netflix’s Key-Value Data Abstraction Layer

Vidhya Arvind, Rajasekhar Ummadisetty, Joey Lynch, Vinay ChellaIntroductionAt Netflix our ability to deliver seamless, high-quality, streaming experiences to millions of users hinges on robust, global backend infrastructure. Central to this infrastructure is our use of multiple online distributed databases such as Apache Cassandra, a NoSQL database known for its high availability and scalability. Cassandra serves as the backbone for a diverse array of use cases within Netflix, ranging from user sign-ups and storing viewing histories to supporting real-time analytics and live streaming.Over time as new key-value databases were introduced and service owners launched new use cases, we encounte…

6 months назад @ netflixtechblog.com
Pushy to the Limit: Evolving Netflix’s WebSocket proxy for the future
Pushy to the Limit: Evolving Netflix’s WebSocket proxy for the future Pushy to the Limit: Evolving Netflix’s WebSocket proxy for the future

By Karthik Yagna, Baskar Odayarkoil, and Alex EllisPushy is Netflix’s WebSocket server that maintains persistent WebSocket connections with devices running the Netflix application. This allows data to be sent to the device from backend services on demand, without the need for continually polling requests from the device. Over the last few years, Pushy has seen tremendous growth, evolving from its role as a best-effort message delivery service to be an integral part of the Netflix ecosystem. This post describes how we’ve grown and scaled Pushy to meet its new and future needs, as it handles hundreds of millions of concurrent WebSocket connections, delivers hundreds of thousands of messages p…

6 months, 1 week назад @ netflixtechblog.com
Noisy Neighbor Detection with eBPF
Noisy Neighbor Detection with eBPF Noisy Neighbor Detection with eBPF

By Jose Fernandez, Sebastien Dabdoub, Jason Kock, Artem TkachukThe Compute and Performance Engineering teams at Netflix regularly investigate performance issues in our multi-tenant environment. The first step is determining whether the problem originates from the application or the underlying infrastructure. One issue that often complicates this process is the "noisy neighbor" problem. On Titus, our multi-tenant compute platform, a "noisy neighbor" refers to a container or system service that heavily utilizes the server's resources, causing performance degradation in adjacent containers. We usually focus on CPU utilization because it is our workload's most frequent source of noisy neighbor …

6 months, 1 week назад @ netflixtechblog.com
Pinterest Engineering
последний пост 3 days, 15 hours назад
Module Relevance on Homefeed
Module Relevance on Homefeed Module Relevance on Homefeed

Usha Amrutha Nookala, Jason Madeano, Siddarth Malreddy, Lucy Song, Alekhya PIn the past, Homefeed on Pinterest recommended a grid of Pins that are most relevant to a user. The grid limits our ability to provide more context on the recommendations as well as show new topics the user might be interested in. To address this, we introduced modules to the Homefeed. We developed several components to ensure that the user’s Homefeed remains relevant with this new content type. This blog post details these components. The figure below provides an overview of our system and demonstrates how it interacts with the existing main feed of Pins.Figure 1: Overview of the module relevance backendModulesModu…

3 days, 15 hours назад @ medium.com
Infrastructure Advancements at AWS ReInvent 2024
Infrastructure Advancements at AWS ReInvent 2024 Infrastructure Advancements at AWS ReInvent 2024

Madhuri Racherla, VP, Engineering — Infra & SREAt the recent AWS ReInvent 2024 conference, Madhuri Racherla, VP of Infrastructure & SRE, shared an inspiring story of the company’s ongoing journey to optimize performance and reduce costs. Her talk not only highlighted Pinterest’s strategic infrastructure advancements but also aimed to motivate engineers to pursue innovation and excellence.A Vision of Boundless CreativityMadhuri kicked off her presentation by painting a picture of a world where creativity knows no bounds. With Pinterest’s mission to inspire over 553 million monthly active users* to create lives they love, the platform isn’t just a hub for ideas; it’s a movement celebrating cr…

1 month назад @ medium.com
The Quest to Understand Metric Movements
The Quest to Understand Metric Movements The Quest to Understand Metric Movements

Charles Wu, Software Engineer | Isabel Tallam, Software Engineer | Franklin Shiao, Software Engineer | Kapil Bajaj, Engineering ManagerOverviewSuppose you just saw an interesting rise or drop in one of your key metrics. Why did that happen? It’s an easy question to ask, but much harder to answer.One of the key difficulties in finding root causes for metric movements is that these causes can come in all shapes and sizes. For example, if your metric dashboard shows users experiencing higher latency as they scroll through their home feed, then that could be caused by anything from an OS upgrade, a logging or data pipeline error, an unusually large increase in user traffic, a code change landed…

1 month, 1 week назад @ medium.com
Advancements in Embedding-Based Retrieval at Pinterest Homefeed
Advancements in Embedding-Based Retrieval at Pinterest Homefeed Advancements in Embedding-Based Retrieval at Pinterest Homefeed

Zhibo Fan | Machine Learning Engineer, Homefeed Candidate Generation; Bowen Deng | Machine Learning Engineer, Homefeed Candidate Generation; Hedi Xia | Machine Learning Engineer, Homefeed Candidate Generation; Yuke Yan | Machine Learning Engineer, Homefeed Candidate Generation; Hongtao Lin | Machine Learning Engineer, ATG Applied Science; Haoyu Chen | Machine Learning Engineer, ATG Applied Science; Dafang He | Machine Learning Engineer, Homefeed Relevance; Jay Adams | Principal Engineer, Pinner Curation & Growth; Raymond Hsu | Engineering Manager, Homefeed CG Product Enablement; James Li | Engineering Manager, Homefeed Candidate Generation; Dylan Wang | Engineering Manager, Homefeed Relevan…

1 month, 2 weeks назад @ medium.com
Establishing a Large Scale Learned Retrieval System at Pinterest
Establishing a Large Scale Learned Retrieval System at Pinterest Establishing a Large Scale Learned Retrieval System at Pinterest

Bowen Deng | Machine Learning Engineer, Homefeed Candidate Generation; Zhibo Fan | Machine Learning Engineer, Homefeed Candidate Generation; Dafang He | Machine Learning Engineer, Homefeed Relevance; Ying Huang | Machine Learning Engineer, Curation; Raymond Hsu | Engineering Manager, Homefeed CG Product Enablement; James Li | Engineering Manager, Homefeed Candidate Generation; Dylan Wang | Director, Homefeed Relevance; Jay Adams | Principal Engineer, Pinner Curation & GrowthIntroductionAt Pinterest, our mission is to bring everyone the inspiration to create a life they love. Finding the right content online and serving the right audience plays a key role in this mission. Modern large-scale …

1 month, 2 weeks назад @ medium.com
How Optimizing Memory Management with LMDB Boosted Performance on Our API Service
How Optimizing Memory Management with LMDB Boosted Performance on Our API Service How Optimizing Memory Management with LMDB Boosted Performance on Our API Service

Angel Vargas | Software Engineer, API Platform; Swati Kumar | Software Engineer, API Platform; Chris Bunting | Engineering Manager, API PlatformThe inside of the Pinterest lobby in Mexico City, showing a patterned ceiling, a receptionist deck with a plant on it, a light above it, and a gallery of images of pins you’d find on Pinterest, behind it. To the left, a glowing Pinterest P sign hovers in front of a glass wall.NGAPI, the API platform for serving all first party client API requests, requires optimized system performance to ensure a high success rate of requests and allow for maximum efficiency to provide Pinners worldwide with engaging content. Recently, our team made a significant im…

2 months, 1 week назад @ medium.com
Simplify Pinterest Conversion Tracking with NPM Packages
Simplify Pinterest Conversion Tracking with NPM Packages Simplify Pinterest Conversion Tracking with NPM Packages

Juan Benavides Nanni; SDET II |Pinterest conversions are critical for businesses looking to optimize their campaigns and track the performance of their advertisements. By leveraging Pinterest’s Conversion API and Conversion Tag, advertisers can gain deeper insights into user behavior and fine-tune their marketing efforts.To make this process seamless for developers, we’ve created two NPM packages: pinterest-conversions-server and pinterest-conversions-client. These packages simplify the integration of Pinterest’s Conversion API and Conversion Tag, offering robust solutions for server-side and client-side tracking.Why Use Pinterest Conversions?Pinterest conversions allow businesses to:Track …

2 months, 4 weeks назад @ medium.com
How Pinterest Leverages Honeycomb to Enhance CI Observability and  Improve CI Build Stability
How Pinterest Leverages Honeycomb to Enhance CI Observability and 
Improve CI Build Stability How Pinterest Leverages Honeycomb to Enhance CI Observability and  Improve CI Build Stability

How Pinterest Leverages Honeycomb to Enhance CI Observability and Improve CI Build StabilityOliver Koo | Staff Software EngineerOptimizing Mobile Builds and Continuous Integration Observability at Pinterest with HoneycombAt Pinterest, our mobile infrastructure is core to delivering a high-quality experience for our users. In this blog, I’ll showcase how the Pinterest Mobile Builds team is leveraging Honeycomb (starting in 2021) to enhance observability and performance in our mobile builds and continuous integration (CI) workflows.Building a Data-Driven Approach to ObservabilityOur mobile builds team relies on Honeycomb(™) as a robust data engine to visualize build metrics, analyze trends, a…

3 months, 2 weeks назад @ medium.com
Change Data Capture at Pinterest
Change Data Capture at Pinterest Change Data Capture at Pinterest

Liang Mou; Staff Software Engineer, Logging Platform | Elizabeth (Vi) Nguyen; Software Engineer I, Logging Platform |In today’s data-driven world, businesses need to process and analyze data in real-time to make informed decisions. Change Data Capture (CDC) is a crucial technology that enables organizations to efficiently track and capture changes in their databases. In this blog post, we’ll explore what CDC is, why it’s important, and our journey of implementing Generic CDC solutions for all online databases at Pinterest.What is Change Data Capture?CDC is a set of software design patterns used to identify and track changes in a database. These changes can include inserts, updates, and dele…

4 months назад @ medium.com
Resource Management with Apache YuniKorn™ for Apache Spark™ on AWS EKS at Pinterest
Resource Management with Apache YuniKorn™ for Apache Spark™ on AWS EKS at Pinterest Resource Management with Apache YuniKorn™ for Apache Spark™ on AWS EKS at Pinterest

Yongjun Zhang; Staff Software Engineer | William Tom; Staff Software Engineer | Sandeep Kumar; Software Engineer |Monarch, Pinterest’s Batch Processing Platform, was initially designed to support Pinterest’s ever-growing number of Apache Spark and MapReduce workloads at scale. During Monarch’s inception in 2016, the most dominant batch processing technology around to build the platform was Apache Hadoop YARN. Now, eight years later, we have made the decision to move off of Apache Hadoop and onto our next generation Kubernetes (K8s) based platform. These are some of the key issues we aim to address:Application isolation with containerization: In Apache Hadoop 2.10, YARN applications share th…

5 months назад @ medium.com
Ray Batch Inference at Pinterest (Part 3)
Ray Batch Inference at Pinterest (Part 3) Ray Batch Inference at Pinterest (Part 3)

Alex Wang; Software Engineer I | Lei Pan; Software Engineer II | Raymond Lee; Senior Software Engineer | Saurabh Vishwas Joshi; Senior Staff Software Engineer | Chia-Wei Chen; Senior Software Engineer |IntroductionIn Part 1 of our blog series, we discussed why we chose to use Ray(™) as a last mile data processing framework and how it enabled us to solve critical business problems. In Part 2 of our blog series, we described how we were able to integrate Ray(™) into our existing ML infrastructure. In this blog post, we will discuss a second type of popular application of Ray(™) at Pinterest: offline batch inference of ML models. We will also share how our implementation was able to deliver 4.…

5 months, 1 week назад @ medium.com
Structured DataStore (SDS): Multi-model Data Management With a Unified Serving Stack
Structured DataStore (SDS): Multi-model Data Management With a Unified Serving Stack Structured DataStore (SDS): Multi-model Data Management With a Unified Serving Stack

Authors: Alberto Ordonez Pereira; Senior Staff Software Engineer | Lianghong Xu; Senior Manager, Engineering |Part 1: HBase Deprecation at Pinterest & Part 2: TiDB Adoption at PinterestIn this blog, we will show how the team transitioned from supporting multiple query serving stacks to provide different data models to a brand new data serving platform with a unified multi model query serving stack called Structured DataStore (SDS).As a data serving platform, SDS is responsible for various aspects of the data lifecycle management, including:Online Query Serving, which offers multiple data models such as graph, table, document, etc. at 1–2 digit ms p99 latency and with high availability (99.9…

5 months, 3 weeks назад @ medium.com
Feature Caching for Recommender Systems w/ Cachelib
Feature Caching for Recommender Systems w/ Cachelib Feature Caching for Recommender Systems w/ Cachelib

Li Tang; Sr. Software Engineer | Saurabh Vishwas Joshi; Sr. Staff Software Engineer | Zhiyuan Zhang; Sr. Manager, Engineering |At Pinterest, we operate a large-scale online machine learning inference system, where feature caching plays a critical role to achieve optimal efficiency. In this blog post, we will discuss our decision to adopt Cachelib project by Meta Open Source (“Cachelib”) and how we have built a high-throughput, flexible feature cache by leveraging and expanding upon the capabilities of Cachelib.BackgroundRecommender systems are fundamental to Pinterest’s mission to inspire users to create a life they love. At a high level, our recommender models predict user and content inte…

6 months назад @ medium.com
Pinterest Tiered Storage for Apache Kafka®️: A Broker-Decoupled Approach
Pinterest Tiered Storage for Apache Kafka®️: A Broker-Decoupled Approach Pinterest Tiered Storage for Apache Kafka®️: A Broker-Decoupled Approach

Jeff Xiang | Senior Software Engineer, Logging Platform; Vahid Hashemian | Staff Software Engineer, Logging PlatformWhen it comes to PubSub solutions, few have achieved higher degrees of ubiquity, community support, and adoption than Apache Kafka®️, which has become the industry standard for data transportation at large scale. At Pinterest, petabytes of data are transported through PubSub pipelines every day, powering foundational systems such as AI training, content safety and relevance, and real-time ad bidding, bringing inspiration to hundreds of millions of Pinners worldwide. Given the continuous growth in PubSub-dependent use cases and organic data volume, it became paramount that PubS…

6 months назад @ medium.com
Meet Pinterest’s Internship Mentors of the Year
Meet Pinterest’s Internship Mentors of the Year Meet Pinterest’s Internship Mentors of the Year

Pinterest Engineering TeamPinterest employees in San Francisco office standing together with the Mentor of the Year 2024 AwardOur internship program truly inspires employees to bring their best self to work every day. Our program has mentors across the business that help interns develop their skills to create a career they love. Our Mentors of the Year have shown exceptional dedication in guiding and supporting our interns on their professional journeys. Discover how being a mentor has helped them advance their own careers at Pinterest and find out what inspires them.In this blog, we’re joined by Irena Lee, Software Engineer I; Ricardo Casilimas, Software Engineer II; Lily Liu, Sr. Data Sci…

6 months, 1 week назад @ medium.com
Facebook
последний пост 2 weeks, 4 days назад
Building multimodal AI for Ray-Ban Meta glasses
Building multimodal AI for Ray-Ban Meta glasses

Multimodal AI – models capable of processing multiple different types of inputs like speech, text, and images – have been transforming user experiences in the wearables space. With our Ray-Ban Meta glasses, multimodal AI helps the glasses see what the wearer is seeing. This means anyone wearing Ray-Ban Meta glasses can ask them questions about [...]

Read More...

The post Building multimodal AI for Ray-Ban Meta glasses appeared first on Engineering at Meta.

2 weeks, 4 days назад @ engineering.fb.com
Revolutionizing software testing: Introducing LLM-powered bug catchers
Revolutionizing software testing: Introducing LLM-powered bug catchers

WHAT IT IS Meta’s Automated Compliance Hardening (ACH) tool is a system for mutation-guided, LLM-based test generation. ACH hardens platforms against regressions by generating undetected faults (mutants) in source code that are specific to a given area of concern and using those same mutants to generate tests. When applied to privacy, for example, ACH automates [...]

Read More...

The post Revolutionizing software testing: Introducing LLM-powered bug catchers appeared first on Engineering at Meta.

1 month, 2 weeks назад @ engineering.fb.com
Meta Andromeda: Supercharging Advantage+ automation with the next-gen personalized ads retrieval engine
Meta Andromeda: Supercharging Advantage+ automation with the next-gen personalized ads retrieval engine

Andromeda is Meta’s proprietary machine learning (ML) system design for retrieval in ad recommendation focused on delivering a step-function improvement in value to our advertisers and people. This system pushes the boundary of cutting edge AI for retrieval with NVIDIA Grace Hopper Superchip and Meta Training and Inference Accelerator (MTIA) hardware through innovations in ML [...]

Read More...

The post Meta Andromeda: Supercharging Advantage+ automation with the next-gen personalized ads retrieval engine appeared first on Engineering at Meta.

3 months, 2 weeks назад @ engineering.fb.com
Sequence learning: A paradigm shift for personalized ads recommendations
Sequence learning: A paradigm shift for personalized ads recommendations

AI plays a fundamental role in creating valuable connections between people and advertisers within Meta’s family of apps. Meta’s ad recommendation engine, powered by deep learning recommendation models (DLRMs), has been instrumental in delivering personalized ads to people. Key to this success was incorporating thousands of human-engineered signals or features in the DLRM-based recommendation system. [...]

Read More...

The post Sequence learning: A paradigm shift for personalized ads recommendations appeared first on Engineering at Meta.

4 months назад @ engineering.fb.com
OCP Summit 2024: The open future of networking hardware for AI
OCP Summit 2024: The open future of networking hardware for AI

At Open Compute Project Summit (OCP) 2024, we’re sharing details about our next-generation network fabric for our AI training clusters. We’ve expanded our network hardware portfolio and are contributing two new disaggregated network fabrics and a new NIC to OCP. We look forward to continued collaboration with OCP to open designs for racks, servers, storage [...]

Read More...

The post OCP Summit 2024: The open future of networking hardware for AI appeared first on Engineering at Meta.

5 months, 1 week назад @ engineering.fb.com
Meta’s open AI hardware vision
Meta’s open AI hardware vision

At the Open Compute Project (OCP) Global Summit 2024, we’re showcasing our latest open AI hardware designs with the OCP community. These innovations include a new AI platform, cutting-edge open rack designs, and advanced network fabrics and components. By sharing our designs, we hope to inspire collaboration and foster innovation. If you’re passionate about building [...]

Read More...

The post Meta’s open AI hardware vision appeared first on Engineering at Meta.

5 months, 1 week назад @ engineering.fb.com
How open source AI can improve population estimates, sustainable energy, and the delivery of climate change interventions
How open source AI can improve population estimates, sustainable energy, and the delivery of climate change interventions

Data for Good at Meta is open-sourcing the data used to train our AI-powered population maps. We’re hoping that researchers and other organizations around the world will be able to leverage these tools to assist with a wide range of projects including those on climate adaptation, public health and disaster response. The dataset and code [...]

Read More...

The post How open source AI can improve population estimates, sustainable energy, and the delivery of climate change interventions appeared first on Engineering at Meta.

5 months, 2 weeks назад @ engineering.fb.com
Simulator-based reinforcement learning for data center cooling optimization
Simulator-based reinforcement learning for data center cooling optimization

We’re sharing more about the role that reinforcement learning plays in helping us optimize our data centers’ environmental controls. Our reinforcement learning-based approach has helped us reduce energy consumption and water usage across various weather conditions. Meta is revamping its new data center design to optimize for artificial intelligence and the same methodology will be [...]

Read More...

The post Simulator-based reinforcement learning for data center cooling optimization appeared first on Engineering at Meta.

6 months, 1 week назад @ engineering.fb.com
How PyTorch powers AI training and inference
How PyTorch powers AI training and inference

How PyTorch powers AI training and inference Learn about new PyTorch advancements for LLMs and how PyTorch is enhancing every aspect of the LLM lifecycle. In this talk from AI Infra @ Scale 2024, software engineers Wanchao Liang and Evan Smothers are joined by Meta research scientist Kimish Patel to discuss our newest features and [...]

Read More...

The post How PyTorch powers AI training and inference appeared first on Engineering at Meta.

7 months назад @ engineering.fb.com
Inside the hardware and co-design of MTIA
Inside the hardware and co-design of MTIA

In this talk from AI Infra @ Scale 2024, Joel Colburn, a software engineer at Meta, technical lead Junqiang Lan, and software engineer Jack Montgomery discuss the second generation of MTIA, Meta’s in-house training and inference accelerator. They cover the co-design process behind building the second generation of Meta’s first-ever custom silicon for AI workloads, [...]

Read More...

The post Inside the hardware and co-design of MTIA appeared first on Engineering at Meta.

7 months назад @ engineering.fb.com
Bringing Llama 3 to life
Bringing Llama 3 to life

Llama 3 is Meta’s most capable openly-available LLM to date and the recently-released Llama 3.1 will enable new workflows, such as synthetic data generation and model distillation with unmatched flexibility, control, and state-of-the-art capabilities that rival the best closed source models. At AI Infra @ Scale 2024, Meta engineers discussed every step of how we [...]

Read More...

The post Bringing Llama 3 to life appeared first on Engineering at Meta.

7 months назад @ engineering.fb.com
Aparna Ramani discusses the future of AI infrastructure
Aparna Ramani discusses the future of AI infrastructure

Delivering new AI technologies at scale also means rethinking every layer of our infrastructure – from silicon and software systems and even our data center designs. For the second year in a row, Meta’s engineering and infrastructure teams returned for the AI Infra @ Scale conference, where they discussed the challenges of scaling up an [...]

Read More...

The post Aparna Ramani discusses the future of AI infrastructure appeared first on Engineering at Meta.

7 months назад @ engineering.fb.com
How Meta animates AI-generated images at scale
How Meta animates AI-generated images at scale

We launched Meta AI with the goal of giving people new ways to be more productive and unlock their creativity with generative AI (GenAI). But GenAI also comes with challenges of scale. As we deploy new GenAI technologies at Meta, we also focus on delivering these services to people as quickly and efficiently as possible. [...]

Read More...

The post How Meta animates AI-generated images at scale appeared first on Engineering at Meta.

7 months, 1 week назад @ engineering.fb.com
A RoCE network for distributed AI training at scale
A RoCE network for distributed AI training at scale

AI networks play an important role in interconnecting tens of thousands of GPUs together, forming the foundational infrastructure for training, enabling large models with hundreds of billions of parameters such as LLAMA 3.1 405B. This week at ACM SIGCOMM 2024 in Sydney, Australia, we are sharing details on the network we have built at Meta [...]

Read More...

The post A RoCE network for distributed AI training at scale appeared first on Engineering at Meta.

7 months, 2 weeks назад @ engineering.fb.com
Meet Caddy – Meta’s next-gen mixed reality CAD software
Meet Caddy – Meta’s next-gen mixed reality CAD software

What happens when a team of mechanical engineers get tired of looking at flat images of 3D models over Zoom? Meet the team behind Caddy, a new CAD app for mixed reality. They join Pascal Hartig (@passy) on the Meta Tech Podcast to talk about teaching themselves to code, disrupting the CAD software space, and [...]

Read More...

The post Meet Caddy – Meta’s next-gen mixed reality CAD software appeared first on Engineering at Meta.

8 months, 1 week назад @ engineering.fb.com
Uber Engineering
последний пост None
Spotify Engineering Spotify Engineering
последний пост 3 months, 1 week назад
Building Confidence: A Case Study in How to Create Confidence Scores for GenAI Applications
Building Confidence: A Case Study in How to Create Confidence Scores for GenAI Applications

TL;DR Getting a response from GenAI is quick and straightforward. But what about the confidence level for that response? In [...]

The post Building Confidence: A Case Study in How to Create Confidence Scores for GenAI Applications appeared first on Spotify Engineering.

3 months, 1 week назад @ engineering.atspotify.com
Congratulations to the Recipients of the 2024 Spotify FOSS Fund
Congratulations to the Recipients of the 2024 Spotify FOSS Fund

TL;DR The Spotify FOSS Fund is back again! We created the Spotify FOSS Fund in 2022 to help support the [...]

The post Congratulations to the Recipients of the 2024 Spotify FOSS Fund appeared first on Spotify Engineering.

3 months, 3 weeks назад @ engineering.atspotify.com
How We Generated Millions of Content Annotations
How We Generated Millions of Content Annotations

With the fields of machine learning (ML) and generative AI (GenAI) continuing to rapidly evolve and expand, it has become [...]

The post How We Generated Millions of Content Annotations appeared first on Spotify Engineering.

5 months назад @ engineering.atspotify.com
Are You a Dalia? How We Created Data Science Personas for Spotify’s Analytics Platform
Are You a Dalia? How We Created Data Science Personas for Spotify’s Analytics Platform

On Spotify’s Analytics Platform, we’re dedicated to building products that empower data practitioners to discover, analyze, and share insights — [...]

The post Are You a Dalia? How We Created Data Science Personas for Spotify’s Analytics Platform appeared first on Spotify Engineering.

6 months, 2 weeks назад @ engineering.atspotify.com
Unlocking Insights with High-Quality Dashboards at Scale
Unlocking Insights with High-Quality Dashboards at Scale

We have a lot of dashboards at Spotify. Our Insight teams and analysts from across the company are constantly whipping [...]

The post Unlocking Insights with High-Quality Dashboards at Scale appeared first on Spotify Engineering.

6 months, 3 weeks назад @ engineering.atspotify.com
Technical Decision-Making in a Fragmented Space: Spotify In-Car Case Study
Technical Decision-Making in a Fragmented Space: Spotify In-Car Case Study

Car rides have become connected and interactive these days with drivers jamming to music or catching up on podcasts or [...]

The post Technical Decision-Making in a Fragmented Space: Spotify In-Car Case Study appeared first on Spotify Engineering.

8 months, 2 weeks назад @ engineering.atspotify.com
Data Platform Explained Part II
Data Platform Explained Part II

Check out Data Platform Explained Part I, where we started sharing the journey of building a data platform, its building [...]

The post Data Platform Explained Part II appeared first on Spotify Engineering.

9 months, 4 weeks назад @ engineering.atspotify.com
Dmitry Anoshin recommends
Snowflake
последний пост 7 months, 2 weeks назад
Accelerate Time-Series Analytics with RANGE-Based Window Frames, now Generally Available
Accelerate Time-Series Analytics with RANGE-Based Window Frames, now Generally Available

Unlock powerful time-series analytics with Snowflake's enhanced RANGE-based window frame, now generally available. The post Accelerate Time-Series Analytics with RANGE-Based Window Frames, now Generally Available appeared first on Snowflake.

7 months, 2 weeks назад @ snowflake.com
Continued Investments in Price Performance and Faster Top-K Queries
Continued Investments in Price Performance and Faster Top-K Queries

Our optimization delivers fast results, with some customer queries reaching 99.8%.

The post Continued Investments in Price Performance and Faster Top-K Queries appeared first on Snowflake.

7 months, 2 weeks назад @ snowflake.com
Snowflake Startup Spotlight: BigGeo Puts Geospatial Intelligence on the Map
Snowflake Startup Spotlight: BigGeo Puts Geospatial Intelligence on the Map

Discover how BigGeo is making location-based data more accessible and actionable.

The post Snowflake Startup Spotlight: BigGeo Puts Geospatial Intelligence on the Map appeared first on Snowflake.

7 months, 2 weeks назад @ snowflake.com
Securely Deploy Custom Apps and Models with Snowpark Container Services, Now Generally Available
Securely Deploy Custom Apps and Models with Snowpark Container Services, Now Generally Available

Learn what’s new, including security enhancements and cost reductions.

The post Securely Deploy Custom Apps and Models with Snowpark Container Services, Now Generally Available appeared first on Snowflake.

7 months, 3 weeks назад @ snowflake.com
Snowflake Invests in Contextual AI to Make It Easier for Enterprises to Deploy RAG Applications in the AI Data Cloud
Snowflake Invests in Contextual AI to Make It Easier for Enterprises to Deploy RAG Applications in the AI Data Cloud

Retrieval Augmented Generation (RAG) allows enterprises to ground responses from Large Language Models in their specific organization’s data. This helps ensure that AI-powered applications provide responses that are not only accurate, relevant, and consistent, but also aligned with business needs. At Snowflake, we make it simple for our customers to implement RAG, while also enabling […]

The post Snowflake Invests in Contextual AI to Make It Easier for Enterprises to Deploy RAG Applications in the AI Data Cloud appeared first on Snowflake.

7 months, 3 weeks назад @ snowflake.com
Accelerating Academic Medical Research with an AI-Driven Data Strategy
Accelerating Academic Medical Research with an AI-Driven Data Strategy

Learn about advancing medical research with a robust data strategy.

The post Accelerating Academic Medical Research with an AI-Driven Data Strategy appeared first on Snowflake.

7 months, 3 weeks назад @ snowflake.com
Polaris Catalog Is Now Open Source
Polaris Catalog Is Now Open Source

Available on GitHub, Polaris Catalog provides new levels of choice, flexibility and control over your data.

The post Polaris Catalog Is Now Open Source appeared first on Snowflake.

7 months, 3 weeks назад @ snowflake.com
Snowflake Advances Cybersecurity Excellence by Joining CISA Secure by Design Pledge
Snowflake Advances Cybersecurity Excellence by Joining CISA Secure by Design Pledge

Learn how we're empowering customers to protect their valuable data.

The post Snowflake Advances Cybersecurity Excellence by Joining CISA Secure by Design Pledge appeared first on Snowflake.

7 months, 3 weeks назад @ snowflake.com
Snowflake Cortex Search: State-of-the-Art Hybrid Search for RAG Applications
Snowflake Cortex Search: State-of-the-Art Hybrid Search for RAG Applications

Learn how Cortex Search provides hybrid search at enterprise scale

The post Snowflake Cortex Search: State-of-the-Art Hybrid Search for RAG Applications appeared first on Snowflake.

8 months назад @ snowflake.com
How Snowflake Accelerates Business Growth for Providers of Data, Apps and AI Products
How Snowflake Accelerates Business Growth for Providers of Data, Apps and AI Products

Remove integration and procurement friction, improve time to value.

The post How Snowflake Accelerates Business Growth for Providers of Data, Apps and AI Products appeared first on Snowflake.

8 months назад @ snowflake.com
Snowflake Cortex AI Launches Cortex Guard to Implement LLM Safeguards
Snowflake Cortex AI Launches Cortex Guard to Implement LLM Safeguards

Snowflake helps customers implement AI safety at scale with an easy, cost-effective LLM guardrails feature. The post Snowflake Cortex AI Launches Cortex Guard to Implement LLM Safeguards appeared first on Snowflake.

8 months назад @ snowflake.com
Meta’s Llama 3.1 405B Now Available for Enterprise App Development in Snowflake Cortex AI
Meta’s Llama 3.1 405B Now Available for Enterprise App Development in Snowflake Cortex AI

Today, Snowflake is excited to announce that the Llama 3.1 collection of multilingual large language models (LLMs) are now available in Snowflake Cortex AI, providing enterprises with secure, serverless access to Meta’s most advanced open source model. Snowflake offers the largest context window of any vendor, at 128k, for the Llama 3.1 collection of models. […]

The post Meta’s Llama 3.1 405B Now Available for Enterprise App Development in Snowflake Cortex AI appeared first on Snowflake.

8 months назад @ snowflake.com
Getting the Most From Your Modern Data Platform: A Three-Phase Approach
Getting the Most From Your Modern Data Platform: A Three-Phase Approach

Migrate, modernize and monetize to unlock innovation on Snowflake’s platform.

The post Getting the Most From Your Modern Data Platform: A Three-Phase Approach appeared first on Snowflake.

8 months назад @ snowflake.com
From Potential Disaster To Driver of Change… Data Execs Share Their Journeys To Effective AI
From Potential Disaster To Driver of Change… Data Execs Share Their Journeys To Effective AI

A potential recipe for disaster proved to be the focus of every data executive’s agenda over the last year. A year ago many data leaders were caught off-guard. Employees embraced new gen AI tools with fervor, driving interest in all AI initiatives. Generative AI had penetrated the enterprise, with gen AI positioned in the Peak […]

The post From Potential Disaster To Driver of Change… Data Execs Share Their Journeys To Effective AI appeared first on Snowflake.

8 months, 1 week назад @ snowflake.com
Snowflake’s Summer of Sports and AI
Snowflake’s Summer of Sports and AI

Join us on July 25, 2024 for a Sports and AI virtual event.

The post Snowflake’s Summer of Sports and AI appeared first on Snowflake.

8 months, 1 week назад @ snowflake.com
Smart Data
последний пост 4 days, 14 hours назад
AI-Powered Email Marketing: Boost Engagement and Revenue
AI-Powered Email Marketing: Boost Engagement and Revenue

Transform your email marketing with AI to increase personalization, boost click-through rates, and maximize revenue effortlessly.

4 days, 14 hours назад @ smartdatacollective.com
Creating Impactful Branding: Using Design Tools vs. AI
Creating Impactful Branding: Using Design Tools vs. AI

There are a lot of great reasons to consider using AI and design tools to create great branding graphics.

5 days, 15 hours назад @ smartdatacollective.com
What Are the Ethical Implications of Using AI in Advertising
What Are the Ethical Implications of Using AI in Advertising

You can harness the power of AI to create personalized, data-driven ad campaigns but must be aware of the ethical issues.

1 week, 2 days назад @ smartdatacollective.com
How AI is Helping Drive Advances in Inventory Management Software
How AI is Helping Drive Advances in Inventory Management Software

Optimize your supply chain with AI-powered Bill of Materials software for smarter, faster, and error-free production.

1 week, 4 days назад @ smartdatacollective.com
Unveiling Hidden Patterns Through Advanced Chemical Analysis Tools
Unveiling Hidden Patterns Through Advanced Chemical Analysis Tools

AI and data analytics is starting to revolutionize the chemical analysis industry by accelerating discovery, enhancing precision, and driving industry growth.

2 weeks, 4 days назад @ smartdatacollective.com
Data Analytics Can Help with REIT Investing
Data Analytics Can Help with REIT Investing

Smart real estate investing starts with data—analyze trends, minimize risks, and maximize returns with advanced analytics.

3 weeks, 6 days назад @ smartdatacollective.com
AI Breakthroughs Are a Boon for Maintenance Software
AI Breakthroughs Are a Boon for Maintenance Software

More companies are investing in AI-driven software that can help with preventive equipment maintenance.

1 month назад @ smartdatacollective.com
Unlocking Growth: How KPI Software Solutions Drive Business Success
Unlocking Growth: How KPI Software Solutions Drive Business Success

KPI software can help companies make the most of their business intelligence strategies.

1 month назад @ smartdatacollective.com
Enjoy the Benefits of Using an SEO Agency that Uses AI
Enjoy the Benefits of Using an SEO Agency that Uses AI

AI technology is helping companies make the most out of their SEO strategies.

1 month назад @ smartdatacollective.com
How AI Startups Can Invest in Carbon Reduction Strategies
How AI Startups Can Invest in Carbon Reduction Strategies

AI startups can become more sustainable by investing in carbon reduction strategies that benefit both business and the planet.

1 month назад @ smartdatacollective.com
6 Huge Ways Data Analytics Can Help Salon Owners
6 Huge Ways Data Analytics Can Help Salon Owners

Salon owners are using data analytics technology to help them run their businesses more effectively.

1 month назад @ smartdatacollective.com
How AI Detection Tools Are Shaping the Future of Digital Marketing
How AI Detection Tools Are Shaping the Future of Digital Marketing

Unlock potential! Discover how AI detection tools are transforming digital marketing strategies for targeted and effective campaigns.

1 month, 1 week назад @ smartdatacollective.com
How AI Chatbots Are Revolutionizing IT Operations and Customer Service
How AI Chatbots Are Revolutionizing IT Operations and Customer Service

Chatbots at the forefront! Explore the game-changing role of AI in streamlining IT operations and elevating customer service.

1 month, 1 week назад @ smartdatacollective.com
Data Analytics is a Huge Boon for Alzheimer’s Disease Research
Data Analytics is a Huge Boon for Alzheimer’s Disease Research

There are a lot of great reasons to use big data technology for Alzheimer's research.

1 month, 2 weeks назад @ smartdatacollective.com
How AI Developers Can Get Expert Help with CS Tasks
How AI Developers Can Get Expert Help with CS Tasks

AI developers need to get outside assistance if they are trying to create better code.

1 month, 3 weeks назад @ smartdatacollective.com
Knoldus
последний пост None
We Cloud Data We Cloud Data
последний пост 1 day, 19 hours назад
Computer vision in Healthcare and Diagnostic
Computer vision in Healthcare and Diagnostic

The emergence of Artificial Intelligence (AI) has revolutionized the healthcare sector. Key applications include disease diagnosis and drug discovery. Computer Vision (CV) is one of the growing modern AI technologies. Computer vision in healthcare applications are vast and growing, from detecting cancerous tumors to assisting in robotic surgeries. Let’s learn more about the power of […]

The post Computer vision in Healthcare and Diagnostic appeared first on WeCloudData.

1 day, 19 hours назад @ weclouddata.com
NLP Project Life Cycle: A Case Study on Automated Resume Screening
NLP Project Life Cycle: A Case Study on Automated Resume Screening

Natural Language Processing (NLP) has transformed technology by allowing machines to understand, decode, and generate human language. NLP plays a crucial role in multiple domains and NLP projects ranging from it’s automating customer service, improving search engines, or analyzing social media sentiments. In this blog, we will use a case study-Automated Resume Screening to understand […]

The post NLP Project Life Cycle: A Case Study on Automated Resume Screening appeared first on WeCloudData.

2 days, 16 hours назад @ weclouddata.com
More Accurate Predictions for Your Day: Machine Learning in Weather Forecasting
More Accurate Predictions for Your Day: Machine Learning in Weather Forecasting

Weather forecasting is a complex science that involves analyzing vast amounts of data from various sources, including satellites, weather stations, and radar systems.

The post More Accurate Predictions for Your Day: Machine Learning in Weather Forecasting appeared first on WeCloudData.

2 days, 18 hours назад @ weclouddata.com
Navigating your way: Traffic Prediction with Machine Learning
Navigating your way: Traffic Prediction with Machine Learning

Machine learning is revolutionizing traffic prediction, enhancing route planning and reducing congestion in urban commuting. Explore advanced algorithms like Uni-LSTM and BiLSTM for accurate forecasts, along with Google Maps' integration of deep learning for improved ETA accuracy. Discover the practical utility of machine learning in everyday life.

The post Navigating your way: Traffic Prediction with Machine Learning appeared first on WeCloudData.

5 days, 16 hours назад @ weclouddata.com
Using Machine Learning to Distinguish Between Spam and Legitimate Emails
Using Machine Learning to Distinguish Between Spam and Legitimate Emails

Machine learning has revolutionized email spam detection, offering sophisticated solutions to combat the continuous influx of unwanted emails. Deep learning techniques, with their advanced pattern recognition capabilities, have significantly improved spam detection accuracy, ensuring that users receive only relevant and valuable information in their inboxes. Explore how machine learning is enhancing email security and reducing spam effectively.

The post Using Machine Learning to Distinguish Between Spam and Legitimate Emails appeared first on WeCloudData.

1 week, 3 days назад @ weclouddata.com
Natural Language Processing in Healthcare
Natural Language Processing in Healthcare

Natural Language Processing (NLP) is the key to all the recent advancements in Generative AI. Like many other industries, NLP has also revolutionized the life sciences and healthcare. The application of NLP in the medical domain ranges from drug discovery and efficient diagnosis to patient care and automating administrative tasks. To learn more about how […]

The post Natural Language Processing in Healthcare appeared first on WeCloudData.

1 week, 3 days назад @ weclouddata.com
Introduction to SQL
Introduction to SQL

SQL(Structured query language ) is a domain-specific programming language for processing and storing information in a relational database. A relational database organizes data into tables and defines relationships between these tables to ensure efficient information retrieval. SQL is widely used in database administration, data analysis, and software development, making it an essential skill for tech […]

The post Introduction to SQL appeared first on WeCloudData.

1 week, 4 days назад @ weclouddata.com
What is Computer Vision
What is Computer Vision

Have you ever wondered how Snapchat and Instagram face filters track your facial expressions and add fun animations in real-time? Or how does your phone’s Face ID unlock automatically, even if you change your glasses or hairstyle? Computer Vision is the power behind all of such applications. Computer vision is the field of AI that […]

The post What is Computer Vision appeared first on WeCloudData.

1 week, 5 days назад @ weclouddata.com
Building AI Applications with RAG and Agentic RAG: Webinar Recap and Resources
Building AI Applications with RAG and Agentic RAG: Webinar Recap and Resources

In this engaging workshop hosted by WeCloudData, Satyam Mittal, an AI software engineer with expertise in retail and fintech, provided a comprehensive exploration of building AI applications using Retrieval-Augmented Generation (RAG) and agentic RAG. The session blended theoretical foundations with hands-on demonstrations, equipping attendees with practical insights into implementing and optimizing these cutting-edge AI technologies. […]

The post Building AI Applications with RAG and Agentic RAG: Webinar Recap and Resources appeared first on WeCloudData.

2 weeks назад @ weclouddata.com
Building AI Applications with RAG and Agentic RAG: Webinar Recap and Resources
Building AI Applications with RAG and Agentic RAG: Webinar Recap and Resources

In this engaging workshop hosted by WeCloudData, Satyam Mittal, an AI software engineer with expertise in retail and fintech, provided a comprehensive exploration of building AI applications using Retrieval-Augmented Generation (RAG) and agentic RAG. The session blended theoretical foundations with hands-on demonstrations, equipping attendees with practical insights into implementing and optimizing these cutting-edge AI technologies. […]

The post Building AI Applications with RAG and Agentic RAG: Webinar Recap and Resources appeared first on WeCloudData.

2 weeks, 1 day назад @ weclouddata.com
What is Computer Vision
What is Computer Vision

Have you ever wondered how Snapchat and Instagram face filters track your facial expressions and add fun animations in real-time? Or how does your phone’s Face ID unlock automatically, even if you change your glasses or hairstyle? Computer Vision is the power behind all of such applications. Computer vision is the field of AI that […]

The post What is Computer Vision appeared first on WeCloudData.

2 weeks, 2 days назад @ weclouddata.com
Data Analytics vs. Business Analytics vs. Business Intelligence: What’s the Difference?
Data Analytics vs. Business Analytics vs. Business Intelligence: What’s the Difference?

Everything revolves around data. Organizations use insights extracted from the data to make informed decisions. The modern data world is complicated, as multiple terms or titles are given to distinct roles and purposes. Business Analytics, Data Analytics and Business Intelligence​ are the terms that are used interchangeably but all of these have their distinct responsibilities […]

The post Data Analytics vs. Business Analytics vs. Business Intelligence: What’s the Difference? appeared first on WeCloudData.

2 weeks, 3 days назад @ weclouddata.com
AI Use Case: Manufacturing
AI Use Case: Manufacturing

Like many other industries, Artificial Intelligence has transformed and automated the Manufacturing domain. In manufacturing, AI enhances efficiency, accuracy, adaptability, and productivity across multiple processes by optimizing them. From predictive maintenance to generative AI applications, Artificial Intelligence is helping manufacturers gain a competitive edge. In this blog, we explore how AI is changing the Manufacturing […]

The post AI Use Case: Manufacturing appeared first on WeCloudData.

2 weeks, 4 days назад @ weclouddata.com
Life Cycle of Data Science Project
Life Cycle of Data Science Project

The world is becoming increasingly dependent on data, about 2.5 quintillion bytes of data are generated every day. Data is shaping our decisions, from personalized shopping experiences to checking weather forecasts before leaving home. All of these data science applications have a life cycle to follow. The data science lifecycle of a project outlines the […]

The post Life Cycle of Data Science Project appeared first on WeCloudData.

3 weeks назад @ weclouddata.com
AI Agents: Types, Role, and Use Cases
AI Agents: Types, Role, and Use Cases

AI or Artificial Intelligence agents are software programs that can interact with their environment, collect data, perceive, learn, and perform actions based on their environment. AI agents have practical applications in multiple domains, they can be virtual assistants like Google Assistant, Chatgpt and Siri, or complex simulations in healthcare. They enhanced the power of generative […]

The post AI Agents: Types, Role, and Use Cases appeared first on WeCloudData.

3 weeks, 1 day назад @ weclouddata.com
Learn Data Engineering
последний пост None
SCRIBD
последний пост 1 week, 2 days назад
Terraform module to manage Oxbow Lambda and its components
Terraform module to manage Oxbow Lambda and its components

Oxbow is a project to take an existing storage location which contains Apache Parquet files into a Delta Lake table.

It is intended to run both as an AWS Lambda or as a command line application.

We are excited to introduce terraform-oxbow, an open-source Terraform module that simplifies the deployment and management of AWS Lambda and its supporting components. Whether you’re working with AWS Glue, Kinesis Data Firehose, SQS, or DynamoDB, this module provides a streamlined approach to infrastructure as code (IaC) in AWS.

✨ Why terraform-oxbow?

Managing event-driven architectures in AWS can be complex, requiring careful orchestration of multiple services. Terraform-oxbow abstracts much of thi…

1 week, 2 days назад @ tech.scribd.com
Cloud-native Data Ingestion with AWS Aurora and Delta Lake
Cloud-native Data Ingestion with AWS Aurora and Delta Lake

One of the major themes for Infrastructure Engineering over the past couple

years has been higher reliability and better operational efficiency. In a

recent session with the Delta Lake project I was able to

share the work led Kuntal Basu and a number of other people to dramatically

improve the efficiency and reliability of our online data ingestion pipeline. Join Kuntal Basu, Staff Infrastructure Engineer, and R. Tyler Croy, Principal

Engineer at Scribd, Inc. as they take you behind the scenes of Scribd’s data

ingestion setup. They’ll break down the architecture, explain the tools, and

walk you through how they turned off-the-shelf solutions into a robust

pipeline. Video Presentation

2 months, 1 week назад @ tech.scribd.com
Jesse Anderson Jesse Anderson
последний пост 4 days, 19 hours назад
Unapologetically Technical Episode 18 – Adrian Woodhead
Unapologetically Technical Episode 18 – Adrian Woodhead 4 days, 19 hours назад @ jesse-anderson.com
Unapologetically Technical Episode 17 – Semih Salihoglu
Unapologetically Technical Episode 17 – Semih Salihoglu 1 month, 1 week назад @ jesse-anderson.com
Unapologetically Technical Episode 16 – David Jayatillake
Unapologetically Technical Episode 16 – David Jayatillake 2 months, 1 week назад @ jesse-anderson.com
Unapologetically Technical Episode 15 – Frances Perry
Unapologetically Technical Episode 15 – Frances Perry 2 months, 3 weeks назад @ jesse-anderson.com
Unapologetically Technical Episode 14 – Cliff Crosland
Unapologetically Technical Episode 14 – Cliff Crosland

https://youtu.be/Riy8860hHSo Unapologetically Technical’s newest episode is now live! In this episode of Unapologetically Technical, I interview Cliff Crosland, the co-founder and CEO of Scanner.dev. Cliff Crosland is a data engineer passionate about helping people wrangle massive log volumes. He sees logs as a treasure trove of insights and believes effective log analysis is critical in […]

The post Unapologetically Technical Episode 14 – Cliff Crosland first appeared on Jesse Anderson.

4 months, 3 weeks назад @ jesse-anderson.com
Data Teams Survey 2020-2024 Analysis
Data Teams Survey 2020-2024 Analysis 6 months назад @ jesse-anderson.com
Data Teams Survey 2024 Results
Data Teams Survey 2024 Results 6 months, 3 weeks назад @ jesse-anderson.com
Unapologetically Technical Episode 13 – Jeff Chou
Unapologetically Technical Episode 13 – Jeff Chou

https://youtu.be/rjpXnaabaqo Unapologetically Technical’s newest episode is now live! In this episode of Unapologetically Technical, I interview Jeff Chou, CEO and co-founder of Sync Computing. Jeff, who holds a PhD from UC Berkeley and a postdoc from MIT, shares his unique journey from academia to startup life, and how his experience with simulations shaped the vision […]

The post Unapologetically Technical Episode 13 – Jeff Chou first appeared on Jesse Anderson.

7 months, 1 week назад @ jesse-anderson.com
Unpacking the Latest Streaming Announcements: A Comprehensive Analysis
Unpacking the Latest Streaming Announcements: A Comprehensive Analysis

https://youtu.be/NaOwMim240Y This video covers the latest announcements from StreamNative, Confluent, and WarpStream. We discuss communication protocols, how they’re used, and what they mean for you. We also discuss the various systems using Kafka’s protocol. Finally, we discuss the announcements about writing to Iceberg and DeltaLake directly from the broker and what that means for costs […]

The post Unpacking the Latest Streaming Announcements: A Comprehensive Analysis first appeared on Jesse Anderson.

9 months, 1 week назад @ jesse-anderson.com
Unapologetically Technical Episode 12 – AJ Hunyady
Unapologetically Technical Episode 12 – AJ Hunyady

https://youtu.be/3L-QvVca-As Unapologetically Technical’s newest episode is now live! In this episode of Unapologetically Technical, I interview AJ Hunyady, the founder and CEO of InfinyOn. We talked about his early experiences with networking systems, such as creating firewalls, email, and web servers, and how those prepared him for data work. We chatted about the various implications […]

The post Unapologetically Technical Episode 12 – AJ Hunyady first appeared on Jesse Anderson.

9 months, 3 weeks назад @ jesse-anderson.com
Data Quest
последний пост None
Infrastructure
AWS
последний пост 1 day, 17 hours назад
Build a generative AI enabled virtual IT troubleshooting assistant using Amazon Q Business
Build a generative AI enabled virtual IT troubleshooting assistant using Amazon Q Business

Discover how to build a GenAI powered virtual IT troubleshooting assistant using Amazon Q Business. This innovative solution integrates with popular ITSM tools like ServiceNow, Atlassian Jira, and Confluence to streamline information retrieval and enhance collaboration across your organization. By harnessing the power of generative AI, this assistant can significantly boost operational efficiency and provide 24/7 support tailored to individual needs. Learn how to set up, configure, and leverage this solution to transform your enterprise information management.

1 day, 17 hours назад @ aws.amazon.com
Process formulas and charts with Anthropic’s Claude on Amazon Bedrock
Process formulas and charts with Anthropic’s Claude on Amazon Bedrock

In this post, we explore how you can use these multi-modal generative AI models to streamline the management of technical documents. By extracting and structuring the key information from the source materials, the models can create a searchable knowledge base that allows you to quickly locate the data, formulas, and visualizations you need to support your work.

1 day, 18 hours назад @ aws.amazon.com
Automate IT operations with Amazon Bedrock Agents
Automate IT operations with Amazon Bedrock Agents

This post presents a comprehensive AIOps solution that combines various AWS services such as Amazon Bedrock, AWS Lambda, and Amazon CloudWatch to create an AI assistant for effective incident management. This solution also uses Amazon Bedrock Knowledge Bases and Amazon Bedrock Agents. The solution uses the power of Amazon Bedrock to enable the deployment of intelligent agents capable of monitoring IT systems, analyzing logs and metrics, and invoking automated remediation processes.

1 day, 18 hours назад @ aws.amazon.com
Connect, share, and query where your data sits using Amazon SageMaker Unified Studio
Connect, share, and query where your data sits using Amazon SageMaker Unified Studio

In this blog post, we will demonstrate how business units can use Amazon SageMaker Unified Studio to discover, subscribe to, and analyze these distributed data assets. Through this unified query capability, you can create comprehensive insights into customer transaction patterns and purchase behavior for active products without the traditional barriers of data silos or the need to copy data between systems.

1 day, 20 hours назад @ aws.amazon.com
Streamline AWS resource troubleshooting with Amazon Bedrock Agents and AWS Support Automation Workflows
Streamline AWS resource troubleshooting with Amazon Bedrock Agents and AWS Support Automation Workflows

AWS provides a powerful tool called AWS Support Automation Workflows, which is a collection of curated AWS Systems Manager self-service automation runbooks. These runbooks are created by AWS Support Engineering with best practices learned from solving customer issues. They enable AWS customers to troubleshoot, diagnose, and remediate common issues with their AWS resources. In this post, we explore how to use the power of Amazon Bedrock Agents and AWS Support Automation Workflows to create an intelligent agent capable of troubleshooting issues with AWS resources.

2 days, 17 hours назад @ aws.amazon.com
Introducing vector search with UltraWarm in Amazon OpenSearch Service
Introducing vector search with UltraWarm in Amazon OpenSearch Service

Amazon OpenSearch Service also offers a multi-tiered storage solution to its customers in the form of UltraWarm and Cold tiers. In this post, we discuss this new capability and its use cases, and provide a cost-benefit analysis in different scenarios.

2 days, 17 hours назад @ aws.amazon.com
Create generative AI agents that interact with your companies’ systems in a few clicks using Amazon Bedrock in Amazon SageMaker Unified Studio
Create generative AI agents that interact with your companies’ systems in a few clicks using Amazon Bedrock in Amazon SageMaker Unified Studio

In this post, we demonstrate how to use Amazon Bedrock in SageMaker Unified Studio to build a generative AI application to integrate with an existing endpoint and database.

2 days, 17 hours назад @ aws.amazon.com
Asure’s approach to enhancing their call center experience using generative AI and Amazon Q in Quicksight
Asure’s approach to enhancing their call center experience using generative AI and Amazon Q in Quicksight

In this post, we explore why Asure used the Amazon Web Services (AWS) post-call analytics (PCA) pipeline that generated insights across call centers at scale with the advanced capabilities of generative AI-powered services such as Amazon Bedrock and Amazon Q in QuickSight. Asure chose this approach because it provided in-depth consumer analytics, categorized call transcripts around common themes, and empowered contact center leaders to use natural language to answer queries. This ultimately allowed Asure to provide its customers with improvements in product and customer experiences.

2 days, 17 hours назад @ aws.amazon.com
Unleashing the multimodal power of Amazon Bedrock Data Automation to transform unstructured data into actionable insights
Unleashing the multimodal power of Amazon Bedrock Data Automation to transform unstructured data into actionable insights

Today, we're excited to announce the general availability of Amazon Bedrock Data Automation, a powerful, fully managed capability within Amazon Bedrock that seamlessly transforms unstructured multimodal data into structured, application-ready insights with high accuracy, cost efficiency, and scalability.

2 days, 18 hours назад @ aws.amazon.com
Build a data lakehouse in a hybrid Environment using Amazon EMR Serverless, Apache DolphinScheduler, and TiDB
Build a data lakehouse in a hybrid Environment using Amazon EMR Serverless, Apache DolphinScheduler, and TiDB

This post discusses a decoupled approach of building a serverless data lakehouse using AWS Cloud-centered services, including Amazon EMR Serverless, Amazon Athena, Amazon Simple Storage Service (Amazon S3), Apache DolphinScheduler (an open source data job scheduler) as well as PingCAP TiDB, a third-party data warehouse product that can be deployed either on premises or on the cloud or through a software as a service (SaaS).

2 days, 18 hours назад @ aws.amazon.com
Tool choice with Amazon Nova models
Tool choice with Amazon Nova models

To add fine-grained control to how tools are used, we have released a feature for tool choice for Amazon Nova models. Instead of relying on prompt engineering, tool choice forces the model to adhere to the settings in place. In this post, we discuss tool use and the new tool choice feature, with example use cases.

3 days, 17 hours назад @ aws.amazon.com
Integrate generative AI capabilities into Microsoft Office using Amazon Bedrock
Integrate generative AI capabilities into Microsoft Office using Amazon Bedrock

In this blog post, we showcase a powerful solution that seamlessly integrates AWS generative AI capabilities in the form of large language models (LLMs) based on Amazon Bedrock into the Office experience. By harnessing the latest advancements in generative AI, we empower employees to unlock new levels of efficiency and creativity within the tools they already use every day.

3 days, 18 hours назад @ aws.amazon.com
From innovation to impact: How AWS and NVIDIA enable real-world generative AI success
From innovation to impact: How AWS and NVIDIA enable real-world generative AI success

In this post, I will share some of these customers’ remarkable journeys, offering practical insights for any organization looking to harness the power of generative AI.

3 days, 18 hours назад @ aws.amazon.com
Amazon Q Business now available in Europe (Ireland) AWS Region
Amazon Q Business now available in Europe (Ireland) AWS Region

Today, we are excited to announce that Amazon Q Business—a fully managed generative-AI powered assistant that you can configure to answer questions, provide summaries and generate content based on your enterprise data—is now generally available in the Europe (Ireland) AWS Region.

3 days, 20 hours назад @ aws.amazon.com
Scheduled scaling of Amazon Aurora Serverless with Amazon EventBridge Scheduler
Scheduled scaling of Amazon Aurora Serverless with Amazon EventBridge Scheduler

In this post, we demonstrate how you can implement scheduled scaling for Aurora Serverless using Amazon EventBridge Scheduler. By proactively adjusting minimum Aurora Capacity Units (ACUs), you can achieve faster scaling rates during peak periods while maintaining cost efficiency during low-demand times.

4 days назад @ aws.amazon.com
AWS
последний пост 1 day, 17 hours назад
Improve cost visibility of an Amazon RDS multi-tenant instance with Performance Insights and Amazon Athena
Improve cost visibility of an Amazon RDS multi-tenant instance with Performance Insights and Amazon Athena

In this post we introduce a solution that addresses a common challenge faced by many customers: managing costs in multi-tenant applications, particularly for shared databases in Amazon Relational Database Service (Amazon RDS) and Amazon Aurora. This solution uses Amazon RDS Performance Insights and AWS Cost and Usage Reports (CUR) to addresses this challenge. This allows for efficient grouping of tenants within the same RDS or Aurora instances, while helping you implement accurate chargeback models, optimize resource-intensive workloads, and make data-driven decisions for capacity planning.

4 days назад @ aws.amazon.com
Running NVIDIA NeMo 2.0 Framework on Amazon SageMaker HyperPod
Running NVIDIA NeMo 2.0 Framework on Amazon SageMaker HyperPod

In this blog post, we explore how to integrate NeMo 2.0 with SageMaker HyperPod to enable efficient training of large language models (LLMs). We cover the setup process and provide a step-by-step guide to running a NeMo job on a SageMaker HyperPod cluster.

4 days, 14 hours назад @ aws.amazon.com
NeMo Retriever Llama 3.2 text embedding and reranking NVIDIA NIM microservices now available in Amazon SageMaker JumpStart
NeMo Retriever Llama 3.2 text embedding and reranking NVIDIA NIM microservices now available in Amazon SageMaker JumpStart

Today, we are excited to announce that the NeMo Retriever Llama3.2 Text Embedding and Reranking NVIDIA NIM microservices are available in Amazon SageMaker JumpStart. With this launch, you can now deploy NVIDIA’s optimized reranking and embedding models to build, experiment, and responsibly scale your generative AI ideas on AWS. In this post, we demonstrate how to get started with these models on SageMaker JumpStart.

4 days, 14 hours назад @ aws.amazon.com
Amazon Bedrock Guardrails announces IAM Policy-based enforcement to deliver safe AI interactions
Amazon Bedrock Guardrails announces IAM Policy-based enforcement to deliver safe AI interactions

Today, we’re announcing a significant enhancement to Amazon Bedrock Guardrails: AWS Identity and Access Management (IAM) policy-based enforcement. This powerful capability enables security and compliance teams to establish mandatory guardrails for every model inference call, making sure organizational safety policies are consistently enforced across AI interactions. This feature enhances AI governance by enabling centralized control over guardrail implementation.

4 days, 16 hours назад @ aws.amazon.com
Build your gen AI–based text-to-SQL application using RAG, powered by Amazon Bedrock (Claude 3 Sonnet and Amazon Titan for embedding)
Build your gen AI–based text-to-SQL application using RAG, powered by Amazon Bedrock (Claude 3 Sonnet and Amazon Titan for embedding)

In this post, we explore using Amazon Bedrock to create a text-to-SQL application using RAG. We use Anthropic’s Claude 3.5 Sonnet model to generate SQL queries, Amazon Titan in Amazon Bedrock for text embedding and Amazon Bedrock to access these models.

4 days, 17 hours назад @ aws.amazon.com
Unleash AI innovation with Amazon SageMaker HyperPod
Unleash AI innovation with Amazon SageMaker HyperPod

In this post, we show how SageMaker HyperPod, and its new features introduced at AWS re:Invent 2024, is designed to meet the demands of modern AI workloads, offering a persistent and optimized cluster tailored for distributed training and accelerated inference at cloud scale and attractive price-performance.

4 days, 18 hours назад @ aws.amazon.com
Revolutionizing clinical trials with the power of voice and AI
Revolutionizing clinical trials with the power of voice and AI

As the healthcare industry continues to embrace digital transformation, solutions that combine advanced technologies like audio-to-text translation and LLMs will become increasingly valuable in addressing key challenges, such as patient education, engagement, and empowerment. In this post, we discuss possible use cases for combining speech recognition technology with LLMs, and how the solution can revolutionize clinical trials.

4 days, 18 hours назад @ aws.amazon.com
Implement Amazon EMR HBase Graceful Scaling
Implement Amazon EMR HBase Graceful Scaling

Apache HBase is a massively scalable, distributed big data store in the Apache Hadoop ecosystem. We can use Amazon EMR with HBase on top of Amazon Simple Storage Service (Amazon S3) for random, strictly consistent real-time access for tables with Apache Kylin. This post demonstrates how to gracefully decommission target region servers programmatically.

4 days, 18 hours назад @ aws.amazon.com
Intelligent healthcare assistants: Empowering stakeholders with personalized support and data-driven insights
Intelligent healthcare assistants: Empowering stakeholders with personalized support and data-driven insights

Healthcare decisions often require integrating information from multiple sources, such as medical literature, clinical databases, and patient records. LLMs lack the ability to seamlessly access and synthesize data from these diverse and distributed sources. This limits their potential to provide comprehensive and well-informed insights for healthcare applications. In this blog post, we will explore how Mistral LLM on Amazon Bedrock can address these challenges and enable the development of intelligent healthcare agents with LLM function calling capabilities, while maintaining robust data security and privacy through Amazon Bedrock Guardrails.

5 days, 17 hours назад @ aws.amazon.com
Use pgactive for rolling major version upgrades in Amazon RDS for PostgreSQL
Use pgactive for rolling major version upgrades in Amazon RDS for PostgreSQL

In this post, we explore how pgactive can perform rolling major version upgrades for Amazon Relational Database Service (Amazon RDS) for PostgreSQL, allowing for a smoother transition with reduced impact on your applications.

5 days, 20 hours назад @ aws.amazon.com
Grouping database tables in AWS DMS tasks for Oracle source engine
Grouping database tables in AWS DMS tasks for Oracle source engine

AWS Database Migration Service is a cloud service designed to simplify the process of migrating and replicating databases, data warehouses and other data stores. It offers a comprehensive solution for both homogeneous and heterogeneous database migrations, facilitating transitions between different database platforms. The migration process typically involves two major phases: Migration of existing data (full […]

5 days, 23 hours назад @ aws.amazon.com
Amazon DocumentDB Quick Start: Zero Setup with AWS CloudShell
Amazon DocumentDB Quick Start: Zero Setup with AWS CloudShell

Amazon DocumentDB (with MongoDB compatibility) launched its integration with AWS CloudShell. With this integration, you can now connect to Amazon DocumentDB with a single click on the AWS Management Console without needing to perform any setup. In this post, we show how to connect to and work with Amazon DocumentDB using CloudShell. Amazon DocumentDB is […]

1 week, 1 day назад @ aws.amazon.com
Getting started with computer use in Amazon Bedrock Agents
Getting started with computer use in Amazon Bedrock Agents

Today, we’re announcing computer use support within Amazon Bedrock Agents using Anthropic’s Claude 3.5 Sonnet V2 and Anthropic’s Claude Sonnet 3.7 models on Amazon Bedrock. This integration brings Anthropic’s visual perception capabilities as a managed tool within Amazon Bedrock Agents, providing you with a secure, traceable, and managed way to implement computer use automation in your workflows.

1 week, 1 day назад @ aws.amazon.com
Evaluating RAG applications with Amazon Bedrock knowledge base evaluation
Evaluating RAG applications with Amazon Bedrock knowledge base evaluation

This post focuses on RAG evaluation with Amazon Bedrock Knowledge Bases, provides a guide to set up the feature, discusses nuances to consider as you evaluate your prompts and responses, and finally discusses best practices. By the end of this post, you will understand how the latest Amazon Bedrock evaluation features can streamline your approach to AI quality assurance, enabling more efficient and confident development of RAG applications.

1 week, 1 day назад @ aws.amazon.com
Architect fault-tolerant applications with instance fleets on Amazon EMR on EC2
Architect fault-tolerant applications with instance fleets on Amazon EMR on EC2

In this post, we show how to optimize capacity by analyzing EMR workloads and implementing strategies tailored to your workload patterns. We walk through assessing the historical compute usage of a workload and use a combination of strategies to reduce the likelihood of InsufficientCapacityExceptions (ICE) when Amazon EMR launches specific EC2 instance types. We implement flexible instance fleet strategies to reduce dependency on specific instance types and use Amazon EC2 On-Demand Capacity Reservation (ODCRs) for predictable, steady-state workloads. Following this approach can help prevent job failures due to capacity limits while optimizing your cluster for cost and performance.

1 week, 1 day назад @ aws.amazon.com
Astronomer Astronomer
последний пост None
DBT — Data Build Tool DBT — Data Build Tool
последний пост None
FiveTran FiveTran
последний пост None
DataBricks
последний пост None
Mix
/r/DataEngineering
последний пост 1 час назад
Do data engineer have more meetings?
Do data engineer have more meetings?

Hey just curious to know interaction level of data engineers on daily basis submitted by /u/Perfect_Cup1553 [link] [comments]

1 час назад @ reddit.com
Fabric Guidance
Fabric Guidance

Hello all, I'm looking for some guidance. My company has just enabled Fabric on our tenant. Our department has a range of Power BI Report and dataflows as ETL for those reports. I'm wondering what the approach direction for the team would be now we have more capabilities with Fabric. I would like to develop the team to be able to work in notebooks and not certain whether we should upskill in Pyspark or Spark SQL. We have limited SQL experience in the team with most of our queries build in PowerQuery. Interested to hear the forum's thoughts. Many thanks submitted by /u/dazleenorm [link] [comments]

1 час назад @ reddit.com
I am looking to switch 1 year 10 months of experience what changes do I make
I am looking to switch 1 year 10 months of experience what changes do I make I am looking to switch 1 year 10 months of experience what changes do I make

submitted by /u/mamuonroll [link] [comments]

1 час назад @ reddit.com
Need Advice
Need Advice

Hi Chat! I work as a Snowflake Data Engineer at an MNC, Have 2 year's experience in the industry. My primary stack has been Snowflake, Informatica, Control-M, NiFi, Python, basic AWS and Power BI. Any suggestions on how can move ahead with my current techstack? What are some top Product based MNC's that hire for Snowflake Development and what should be the package I should be targeting for now if I am at currently 12 LPA ? submitted by /u/amben_4321 [link] [comments]

1 час назад @ reddit.com
Need Career Advice How Can I Improve for a Better Switch? (2.8 YOE, Snowflake, AWS, Data Eng)
Need Career Advice How Can I Improve for a Better Switch? (2.8 YOE, Snowflake, AWS, Data Eng) Need Career Advice How Can I Improve for a Better Switch? (2.8 YOE, Snowflake, AWS, Data Eng)

Hi everyone , I’m looking for career advice on how to improve my profile and make a strong switch to a better paying product based company. I am currently working as a Senior Software Engineer in a service based company with 2.8 years of experience in data engineering. My current CTC is 7LPA , and I am looking to transition to a product based company that offers better pay, career growth, and more challenging opportunities in cloud data platforms and big data engineering. My tech stack and experience include working with cloud data platforms such as Snowflake and AWS (Glue, S3, Lambda, EC2), along with big data processing technologies like PySpark, ETL and Snowpark. I have hands-on expertis…

4 часа назад @ reddit.com
Need Advice on Specialization for My Final Year Project
Need Advice on Specialization for My Final Year Project

Hi everyone, I’m a 4th-year student in Network, Systems, and Telecom, and next year, I’ll be working on my final year project. I need to choose a specialization, and I’m exploring different options. I came across Database Administration, and I’d love to know if it’s an interesting field for a final year project. Can I find an innovative and unique project idea in this area? Also, how valuable is this specialization, especially in Algeria? Would you recommend it, or should I consider other fields? I’m open to other suggestions if you think there’s a better specialization for an innovative project. Any advice would be greatly appreciated! submitted by /u/These_Experience6792 [link] [comments]

5 часов назад @ reddit.com
Database Architectures for AI Writing Systems
Database Architectures for AI Writing Systems Database Architectures for AI Writing Systems

submitted by /u/drnick316 [link] [comments]

6 часов назад @ reddit.com
what is better java backend vs data engineer
what is better java backend vs data engineer

I studied web security and discovered some vulnerabilities in famous sites and earned some money$$ then moved to learn php then left it and moved to java spring because I think it is better for working in institutions and less noticeable competition I don't have much information I am at the beginning of the road Currently I am afraid of the development of artificial intelligence and I thought about moving to the field of data, for example data engineering. What do you think? Is it better? For example, in the future, salary and job Or should I complete the path in spring submitted by /u/Cool-Appointment-446 [link] [comments]

7 часов назад @ reddit.com
Data Culture Challenges
Data Culture Challenges

Currently working at an older company that only stood up a DE org less than 10 years ago. Being tasked with modernizing and getting to “faster insights”, but am running into challenges getting usable data from our internal apps as they traditionally have never had to share data with a separate team. I find myself jumping through a lot of hoops to make the data acceptable from an analytics perspective - for example we have to replicate sql databases and then migrate to temporal tables from there, meaning a huge risk of losing some history if replication were to stop or crash. Similarly, we really just get the software database “thrown over the fence” and end up spending so much time re-estab…

11 часов назад @ reddit.com
Searching for Python courses
Searching for Python courses

I am getting started with learning python for data engineering. I found that most courses for python are either for data science or data analysis. Which of the two or any other search words would be recommended for finding python data engineering courses or learning material. submitted by /u/Amar_K1 [link] [comments]

12 часов назад @ reddit.com
Pipeline Design for Airflow
Pipeline Design for Airflow

Hi everyone, I have an Airflow question. I understand that you should be using Airflow to orchestrate jobs, and so it is triggering processes. I’ve also heard that you shouldn’t use the compute that is running Airflow to run your jobs. My question is related to some Python we’re using to do an extract/load process from APIs to Snowflake. What is the preferred way to work with this? If I have the Python code in the Airflow repo and simply call it with the Python Operator, won’t this be using the Airflow compute? Should I be setting the Python process to run in its own Docker, and run it with the Bash Operator? If I do this and it’s multi-step, how do I see the steps in the Airflow dag? Sorry…

13 часов назад @ reddit.com
What's the biggest dataset you've used with DuckDB?
What's the biggest dataset you've used with DuckDB?

I'm doing a project at home where I'm transforming some unstructured data into star schemas for analysis in DuckDB. It's about 10 TB uncompressed, and I expect the database to be about 300 GB and 6.5 billion rows. I'm curious to know what big projects y'all have done with DuckDB and how it went. Mine is going slower than I expected, which is partly the reason for the post. I'm bottlenecking only being able to insert 10 MB/s of uncompressed data. It dwindles down as I ingest more (I upsert with primary keys). I'm using sqlalchemy and pandas. Sometimes the insert happens instantly and sometimes it takes several seconds. submitted by /u/Icy_Clench [link] [comments]

13 часов назад @ reddit.com
Common Data Model
Common Data Model

I have been tasked with providing strategy to being hatrogeneously modeled databases from multiple acquired entities in my org into a unified or common data model such that modernization of these databases to AWS cloud. Most of these databases does not even have a data dictionary to make sense of. Where to start and how to create phases of this modernization drive. submitted by /u/Asleep-Photograph-10 [link] [comments]

14 часов назад @ reddit.com
Discussion: New ETL platform
Discussion: New ETL platform

Hey all, I'm using my once per month promo post for this, haha. Let me know if I should run this by the mods. – I’m a data engineer who’s gotten pretty annoyed with how much of the modern data tooling is locked into Google, Azure, other cloud ecosystems, and/or expensive licenses( looking at you redgate ) For a lot of teams (especially smaller ones or those in regulated industries), cloud isn’t always the best option. Self-hosting is the only route—but the available tools don’t make that easy. Airflow is probably the go-to if you want to stay off the cloud, but let’s be honest: setting it up, managing DAGs, and keeping everything stable can be a pain—especially if you're not a full-time inf…

15 часов назад @ reddit.com
The Synchrony Budget
The Synchrony Budget

submitted by /u/gunnarmorling [link] [comments]

15 часов назад @ reddit.com
Towards Data Science
последний пост 1 day, 9 hours назад
Evolving Product Operating Models in the Age of AI
Evolving Product Operating Models in the Age of AI

This article explores how the product operating model, and the core competencies of empowered product teams in particular, can evolve to face the emerging opportunities and challenges in the age of AI.

The post Evolving Product Operating Models in the Age of AI appeared first on Towards Data Science.

1 day, 9 hours назад @ towardsdatascience.com
No More Tableau Downtime: Metadata API for Proactive Data Health
No More Tableau Downtime: Metadata API for Proactive Data Health

Leverage the power of the Metadata API to act on any potential data disruptions

The post No More Tableau Downtime: Metadata API for Proactive Data Health appeared first on Towards Data Science.

1 day, 14 hours назад @ towardsdatascience.com
What Germany Currently Is Up To, Debt-Wise
What Germany Currently Is Up To, Debt-Wise

Billions, visualized to scale using python and HTML

The post What Germany Currently Is Up To, Debt-Wise appeared first on Towards Data Science.

1 day, 15 hours назад @ towardsdatascience.com
Google’s Data Science Agent: Can It Really Do Your Job?
Google’s Data Science Agent: Can It Really Do Your Job?

I tested Google’s Data Science Agent in Colab—here’s what it got right (and where it failed)

The post Google’s Data Science Agent: Can It Really Do Your Job? appeared first on Towards Data Science.

1 day, 16 hours назад @ towardsdatascience.com
R.E.D.: Scaling Text Classification with Expert Delegation
R.E.D.: Scaling Text Classification with Expert Delegation

A novel large-scale semi-supervised framework that augments traditional classification with LLMs

The post R.E.D.: Scaling Text Classification with Expert Delegation appeared first on Towards Data Science.

2 days, 5 hours назад @ towardsdatascience.com
Algorithm Protection in the Context of Federated Learning
Algorithm Protection in the Context of Federated Learning

A pragmatic look into protecting algorithms and models deployed into real-world federated analysis and learning settings in healthcare.

The post Algorithm Protection in the Context of Federated Learning appeared first on Towards Data Science.

2 days, 6 hours назад @ towardsdatascience.com
Mastering the Poisson Distribution: Intuition and Foundations
Mastering the Poisson Distribution: Intuition and Foundations

Take a dive into the foundations and exemplifying use cases of the Poisson distribution

The post Mastering the Poisson Distribution: Intuition and Foundations appeared first on Towards Data Science.

2 days, 6 hours назад @ towardsdatascience.com
Six Organizational Models for Data Science
Six Organizational Models for Data Science

Setting a team up for success or failure

The post Six Organizational Models for Data Science appeared first on Towards Data Science.

2 days, 6 hours назад @ towardsdatascience.com
Mastering Hadoop, Part 3: Hadoop Ecosystem: Get the most out of your cluster
Mastering Hadoop, Part 3: Hadoop Ecosystem: Get the most out of your cluster

Exploring the Hadoop ecosystem — key tools to maximize your cluster’s potential

The post Mastering Hadoop, Part 3: Hadoop Ecosystem: Get the most out of your cluster appeared first on Towards Data Science.

1 week, 1 day назад @ towardsdatascience.com
The Impact of GenAI and Its Implications for Data Scientists
The Impact of GenAI and Its Implications for Data Scientists

What we can learn from Anthropic’s analysis of millions of Claude.ai chats

The post The Impact of GenAI and Its Implications for Data Scientists appeared first on Towards Data Science.

1 week, 1 day назад @ towardsdatascience.com
Mastering Prompt Engineering with Functional Testing: A Systematic Guide to Reliable LLM Outputs
Mastering Prompt Engineering with Functional Testing: A Systematic Guide to Reliable LLM Outputs

How prompt evaluation with a systematic approach composed of algorithmic testing with input/output data fixtures can make prompt engineering for complex AI tasks more reliable.

The post Mastering Prompt Engineering with Functional Testing: A Systematic Guide to Reliable LLM Outputs appeared first on Towards Data Science.

1 week, 1 day назад @ towardsdatascience.com
Nine Pico PIO Wats with Rust (Part 2)
Nine Pico PIO Wats with Rust (Part 2)

Raspberry Pi programmable IO pitfalls illustrated with a musical example

The post Nine Pico PIO Wats with Rust (Part 2) appeared first on Towards Data Science.

1 week, 1 day назад @ towardsdatascience.com
Forget About Cloud Computing. On-Premises Is All the Rage Again
Forget About Cloud Computing. On-Premises Is All the Rage Again

From startups to enterprise, companies are lowering costs and regaining control over their operations

The post Forget About Cloud Computing. On-Premises Is All the Rage Again appeared first on Towards Data Science.

1 week, 1 day назад @ towardsdatascience.com
Effortless Spreadsheet Normalisation With LLM
Effortless Spreadsheet Normalisation With LLM

Clean data, clear insights: The LLM workflow for reshaping spreadsheets

The post Effortless Spreadsheet Normalisation With LLM appeared first on Towards Data Science.

1 week, 1 day назад @ towardsdatascience.com
One Turn After Another
One Turn After Another

Game theory 101: Dynamic games

The post One Turn After Another appeared first on Towards Data Science.

1 week, 1 day назад @ towardsdatascience.com
Monte Carlo Data Monte Carlo Data
последний пост 6 months, 1 week назад
4 Native Snowflake Data Quality Checks & Features You Should Know
4 Native Snowflake Data Quality Checks & Features You Should Know

The bad news? Data breaks. The good news? These 4 Snowflake data quality checks & features can help!

6 months, 1 week назад @ montecarlodata.com
What is a Data Mesh — and How Not to Mesh it Up
What is a Data Mesh — and How Not to Mesh it Up

A beginner’s guide to implementing the latest industry trend: a data mesh.

6 months, 2 weeks назад @ montecarlodata.com
Most Data Quality Initiatives Fail Before They Start. Here’s Why.
Most Data Quality Initiatives Fail Before They Start. Here’s Why.

Show me your data quality scorecard and I’ll tell you whether you will be successful a year from now.

8 months назад @ montecarlodata.com
Is Modern Data Warehouse Architecture Broken?
Is Modern Data Warehouse Architecture Broken?

The modern data warehouse architecture creates problems across many layers. Consider instead an immutable data warehouse for scale and usability.

8 months, 1 week назад @ montecarlodata.com
The Ultimate Guide To Data Lineage
The Ultimate Guide To Data Lineage

Data lineage is a must-have feature of the modern data stack, yet we're struggling to derive value from it. Here's why and how we can fix this.

8 months, 2 weeks назад @ montecarlodata.com
Mission Lane: Continuous Compliance Monitoring
Mission Lane: Continuous Compliance Monitoring

This article provides an overview of a newly developed approach to an always on compliance testing strategy at Mission Lane.

8 months, 2 weeks назад @ montecarlodata.com
The Ultimate Guide to Snowflake Data Cloud Summit 2024
The Ultimate Guide to Snowflake Data Cloud Summit 2024

We've bookmarked the can't-miss moments of Snowflake Data Cloud Summit 2024.

9 months, 3 weeks назад @ montecarlodata.com
DE Telegram
DataEng DataEng
последний пост 6 months, 1 week назад
Building and scaling Notion’s data lakeВ июле этого года в блоге Notion вышла подробная статья об их опыте построении data lake: https://www.notion.so/blog/building-and-scaling-notions-data-lake
Building and scaling Notion’s data lakeВ июле этого года в блоге Notion вышла подробная статья об их опыте построении data lake: https://www.notion.so/blog/building-and-scaling-notions-data-lake

Building and scaling Notion’s data lakeВ июле этого года в блоге Notion вышла подробная статья об их опыте построении data lake: https://www.notion.so/blog/building-and-scaling-notions-data-lake

6 months, 1 week назад @ t.me
В блоге базы данных ClickHouse вышел интересный пост, направленный на PostgreSQL юзеров, в нём показаны ключевые различия между моделированием данных в ClickHouse и PostgreSQL: https://clickhouse.com/blog/postgres-to-clickhouse-data-modeling-tips
В блоге базы данных ClickHouse вышел интересный пост, направленный на PostgreSQL юзеров, в нём показаны ключевые различия между моделированием данных в ClickHouse и PostgreSQL: https://clickhouse.com/blog/postgres-to-clickhouse-data-modeling-tips

В блоге базы данных ClickHouse вышел интересный пост, направленный на PostgreSQL юзеров, в нём показаны ключевые различия между моделированием данных в ClickHouse и PostgreSQL: https://clickhouse.com/blog/postgres-to-clickhouse-data-modeling-tips

6 months, 1 week назад @ t.me
Нашел в Ютубе двухчасовой доклад про индексы в PostgreSQL: Индексы в PostgreSQL. Как понять, что создавать
Нашел в Ютубе двухчасовой доклад про индексы в PostgreSQL: Индексы в PostgreSQL. Как понять, что создавать

Нашел в Ютубе двухчасовой доклад про индексы в PostgreSQL: Индексы в PostgreSQL. Как понять, что создавать

6 months, 1 week назад @ t.me
Нашел в сети пост мини-книгу от небезызвестной Chip Huyen: Building A Generative AI PlatformПожалуй, это одно из самых подробных руководств про построение Generative AI платформ своими руками, или как сейчас говорят RAG in Production.
Нашел в сети пост мини-книгу от небезызвестной Chip Huyen: Building A Generative AI PlatformПожалуй, это одно из самых подробных руководств про построение Generative AI платформ своими руками, или как сейчас говорят RAG in Production.

Нашел в сети пост мини-книгу от небезызвестной Chip Huyen: Building A Generative AI PlatformПожалуй, это одно из самых подробных руководств про построение Generative AI платформ своими руками, или как сейчас говорят RAG in Production.

6 months, 1 week назад @ t.me
Гайд по промпт-инжинирингу от ребят из Anthropic: AI prompt engineering: A deep diveТакже в описании видео есть ссылка на их же мануал: https://docs.anthropic.com/en/docs/build-with-claude/prompt-engineering/overview
Гайд по промпт-инжинирингу от ребят из Anthropic: AI prompt engineering: A deep diveТакже в описании видео есть ссылка на их же мануал: https://docs.anthropic.com/en/docs/build-with-claude/prompt-engineering/overview

Гайд по промпт-инжинирингу от ребят из Anthropic: AI prompt engineering: A deep diveТакже в описании видео есть ссылка на их же мануал: https://docs.anthropic.com/en/docs/build-with-claude/prompt-engineering/overview

6 months, 2 weeks назад @ t.me
DuckCon #5Плейлист с докладами из прошедшей конференции DuckCon #5:— DuckDB – Overview and latest developments— MotherDuck: Taking flight with interactive analytics— Outliers are all you need— Quack attack: Bringing DuckDB to the dart side— A duck for your
DuckCon #5Плейлист с докладами из прошедшей конференции DuckCon #5:— DuckDB – Overview and latest developments— MotherDuck: Taking flight with interactive analytics— Outliers are all you need— Quack attack: Bringing DuckDB to the dart side— A duck for your

DuckCon #5Плейлист с докладами из прошедшей конференции DuckCon #5:— DuckDB – Overview and latest developments— MotherDuck: Taking flight with interactive analytics— Outliers are all you need— Quack attack: Bringing DuckDB to the dart side— A duck for your dashboard: Performant data apps in the browser with DuckDB— Delighting users with RESTful APIs and DuckDB— Aerodynamic data models: Flying fast at scale with DuckDB— Double glazing: Two years of windowing improvements— dbverse: Composable database libraries for larger-than-memory scientific analytics— A quack at building scalable data pipelines with DuckDB

6 months, 2 weeks назад @ t.me
3-х часовой мастер-класс про LLM от Sebastian Raschka: Building LLMs from the Ground Up: A 3-hour Coding Workshop
3-х часовой мастер-класс про LLM от Sebastian Raschka: Building LLMs from the Ground Up: A 3-hour Coding Workshop

3-х часовой мастер-класс про LLM от Sebastian Raschka: Building LLMs from the Ground Up: A 3-hour Coding Workshop

6 months, 3 weeks назад @ t.me
Бот-помощник для дата инженера 🤖Частенько возникает необходимость расшифровать расписание crontab-выражения на человеческий язык, поэтому запили телеграм-бота: CrontabDescriptionBot Отправьте ему cron-строку и он вернёт вам расписание. Пользуйтесь!Под капо
Бот-помощник для дата инженера 🤖Частенько возникает необходимость расшифровать расписание crontab-выражения на человеческий язык, поэтому запили телеграм-бота: CrontabDescriptionBot Отправьте ему cron-строку и он вернёт вам расписание. Пользуйтесь!Под капо Бот-помощник для дата инженера 🤖Частенько возникает необходимость расшифровать расписание crontab-выражения на человеческий язык, поэтому запили телеграм-бота: CrontabDescriptionBot Отправьте ему cron-строку и он вернёт вам расписание. Пользуйтесь!Под капо

Бот-помощник для дата инженера 🤖Частенько возникает необходимость расшифровать расписание crontab-выражения на человеческий язык, поэтому запили телеграм-бота: CrontabDescriptionBot Отправьте ему cron-строку и он вернёт вам расписание. Пользуйтесь!Под капотом он работает на лямбдах, поэтому оплачивать хостинг мне не надо, и поэтому всегда будет работать.

7 months назад @ t.me
В сети появился интересный проект — SlateDB. Это встроенное хранилище на базе LSM Tree, но все данные хранятся на Object Storage сервисах (Amazon S3, Google Cloud Storage, minIO и т.д.). Проект написан на Rust, и пока не существует биндингов на другие язык
В сети появился интересный проект — SlateDB. Это встроенное хранилище на базе LSM Tree, но все данные хранятся на Object Storage сервисах (Amazon S3, Google Cloud Storage, minIO и т.д.). Проект написан на Rust, и пока не существует биндингов на другие язык

В сети появился интересный проект — SlateDB. Это встроенное хранилище на базе LSM Tree, но все данные хранятся на Object Storage сервисах (Amazon S3, Google Cloud Storage, minIO и т.д.). Проект написан на Rust, и пока не существует биндингов на другие языки. SlateDB активно разрабатывается и пока не рекомендуется к использованию в продакшене.Судя по всему, проект появился в результате прохождения мини-курса Mini-LSM.

7 months назад @ t.me
Недавно я постил доклад про GIL и его отключение в будущих версиях Python. Вчера же на канал PyCon US загрузили доклад от Юры Селиванова про сабинтерпретаторы: Overcoming GIL with subinterpreters and immutability. Это один из вариантов улучшения производит
Недавно я постил доклад про GIL и его отключение в будущих версиях Python. Вчера же на канал PyCon US загрузили доклад от Юры Селиванова про сабинтерпретаторы: Overcoming GIL with subinterpreters and immutability. Это один из вариантов улучшения производит

Недавно я постил доклад про GIL и его отключение в будущих версиях Python. Вчера же на канал PyCon US загрузили доклад от Юры Селиванова про сабинтерпретаторы: Overcoming GIL with subinterpreters and immutability. Это один из вариантов улучшения производительности Python без отключения GIL. Я сам не сторонник удаления GIL, т.к. параллельное выполнение потоков потребует от программиста следить за их синхронизацией, чем собственно сейчас занимается GIL (он же mutex), поэтому интересно было послушать его доклад.Для тех, кто в танке, PEP 734 описывает работу сабинтерпретаторов, релиз этой библиотеки планировался в составе Python 3.13, но, к сожалению, Steering Council в апреле этого года решил …

7 months назад @ t.me
Мудрые слова!А что думаете вы? Я на практике также стараюсь максимально избегать распределенных транзакций, т.к. это сразу значительно усложняет систему.Наиболее популярные паттерны распределенных транзакций:— Saga Pattern— 2-Phase Commit
Мудрые слова!А что думаете вы? Я на практике также стараюсь максимально избегать распределенных транзакций, т.к. это сразу значительно усложняет систему.Наиболее популярные паттерны распределенных транзакций:— Saga Pattern— 2-Phase Commit Мудрые слова!А что думаете вы? Я на практике также стараюсь максимально избегать распределенных транзакций, т.к. это сразу значительно усложняет систему.Наиболее популярные паттерны распределенных транзакций:— Saga Pattern— 2-Phase Commit

Мудрые слова!А что думаете вы? Я на практике также стараюсь максимально избегать распределенных транзакций, т.к. это сразу значительно усложняет систему.Наиболее популярные паттерны распределенных транзакций:— Saga Pattern— 2-Phase Commit

7 months назад @ t.me
Релиз Apache Airflow 2.10Сегодня вышел релиз новой версии Apache Airflow — 2.10. Не успел я ещё перейти на 2.9, а нам подогнали 2.10. Что нового?— @skip_if и @run_if декораторы, позволяющие задавать условия при которых следует запускать или пропускать`task
Релиз Apache Airflow 2.10Сегодня вышел релиз новой версии Apache Airflow — 2.10. Не успел я ещё перейти на 2.9, а нам подогнали 2.10. Что нового?— @skip_if и @run_if декораторы, позволяющие задавать условия при которых следует запускать или пропускать`task

Релиз Apache Airflow 2.10Сегодня вышел релиз новой версии Apache Airflow — 2.10. Не успел я ещё перейти на 2.9, а нам подогнали 2.10. Что нового?— @skip_if и @run_if декораторы, позволяющие задавать условия при которых следует запускать или пропускать`task` — появилась возможность задавать разный Executor для tasks в рамках одного DAG— Датасеты отныне не триггерят DAGs, находящиеся в состоянии paused— Важно! Начиная с версии 2.10 Airflow по-умолчанию собирает телеметрию в рамках Open Source Marketing, все данные передаются в систему аналитики Scarf. Чтобы отключить, необходимо задать в конфиге [usage_data_collection]enabled=False либо через переменную окружения SCARF_ANALYTICS=falseС полным…

7 months, 1 week назад @ t.me
GIL и PythonPython, пожалуй, самый популярный язык программирования в дата инжиниринге несмотря на то, что его постоянно ругают за производительность и обжорство. Свои позиции он не сдал чего не скажешь, например, о Scala ☠️ Python своей "тормознутостью" о
GIL и PythonPython, пожалуй, самый популярный язык программирования в дата инжиниринге несмотря на то, что его постоянно ругают за производительность и обжорство. Свои позиции он не сдал чего не скажешь, например, о Scala ☠️ Python своей "тормознутостью" о

GIL и PythonPython, пожалуй, самый популярный язык программирования в дата инжиниринге несмотря на то, что его постоянно ругают за производительность и обжорство. Свои позиции он не сдал чего не скажешь, например, о Scala ☠️ Python своей "тормознутостью" отчасти обязан некогда архитектурному решению под названием GIL. Многие слышали эту аббревиатуру, но не все знают причину по которой появился GIL и как он работает под капотом. Если вам это интересно, то держите отличный доклад на русском языке: Зачем нужен GIL и как от него избавиться? от Евгения Афанасьева.В Python версии 3.13, релиз которой будет уже в октябре, добавили опциональную возможность отключить GIL 😲, нюансы описаны в PEP-703. …

7 months, 1 week назад @ t.me
Специализация по Data Engineering на Coursera29 августа 2024 года на учебной платформе Coursera стартует специализация по дата инжинирингу от DeepLearning.AI — DeepLearning.AI Data Engineering Professional Certificate. Инструктором на курсах будет Joe Reis
Специализация по Data Engineering на Coursera29 августа 2024 года на учебной платформе Coursera стартует специализация по дата инжинирингу от DeepLearning.AI — DeepLearning.AI Data Engineering Professional Certificate. Инструктором на курсах будет Joe Reis

Специализация по Data Engineering на Coursera29 августа 2024 года на учебной платформе Coursera стартует специализация по дата инжинирингу от DeepLearning.AI — DeepLearning.AI Data Engineering Professional Certificate. Инструктором на курсах будет Joe Reis, известный в узких кругах как автор книги Fundamentals of Data Engineering, издательство O'Reilly.Обучение рассчитано на 3 месяца, целевая аудитория Intermediate-level специалисты. В специализацию входит 4 курса:— Introduction to Data Engineering— Source Systems, Data Ingestion, and Pipeline— Data Storage and Queries— Data Modeling, Transformation, and ServingОбучение платное как и большинство специализаций на Coursera, но есть возможност…

7 months, 1 week назад @ t.me
Get or Create средствами базы данныхУ Haki Benita в блоге нашел статью про реализацию функции get_or_create средствами PostgreSQL — How to Get or Create in PostgreSQL: and why it is so easy to get wrongОтличная статья, мне нравится, что автор использует по
Get or Create средствами базы данныхУ Haki Benita в блоге нашел статью про реализацию функции get_or_create средствами PostgreSQL — How to Get or Create in PostgreSQL: and why it is so easy to get wrongОтличная статья, мне нравится, что автор использует по

Get or Create средствами базы данныхУ Haki Benita в блоге нашел статью про реализацию функции get_or_create средствами PostgreSQL — How to Get or Create in PostgreSQL: and why it is so easy to get wrongОтличная статья, мне нравится, что автор использует пошаговый подход и объясняет на каждом этапе какую проблему решает. На первый взгляд может показаться, что нет никаких проблем реализовать Get or Create, но дьявол в мелочах. Рекомендую к прочтению, есть вероятность такой вопрос встретить в будущем на собеседованиях.

7 months, 1 week назад @ t.me
Инжиниринг Данных Инжиниринг Данных
последний пост 1 day, 18 hours назад
Недавно наткнулся на классный материал про Growth Engineering — направление, которое активно развивается в крупных компаниях вроде Meta, Airbnb и Dropbox.Кто такой Growth Engineer🚀? По сути — инженер, который пишет код не просто ради фич, а для прямого уве
Недавно наткнулся на классный материал про Growth Engineering — направление, которое активно развивается в крупных компаниях вроде Meta, Airbnb и Dropbox.Кто такой Growth Engineer🚀? По сути — инженер, который пишет код не просто ради фич, а для прямого уве

Недавно наткнулся на классный материал про Growth Engineering — направление, которое активно развивается в крупных компаниях вроде Meta, Airbnb и Dropbox.Кто такой Growth Engineer🚀? По сути — инженер, который пишет код не просто ради фич, а для прямого увеличения прибыли компании. Его основная задача — запускать эксперименты и проверять гипотезы: например, как изменения интерфейса, уведомлений или даже формата подписки могут повлиять на конверсию и удержание пользователей.Growth Engineers мыслят не категориями «как это построить идеально», а «как быстро проверить идею и понять, принесет ли это деньги». Они не боятся двигаться быстро, иногда даже обходя долгосрочные решения и тесты, лишь бы …

1 day, 18 hours назад @ t.me
Очень рекомендуют видео - Stanford CS229 I Machine Learning I Building Large Language Models (LLMs)00:10 Building Large Language Models overview02:21 Focus on data evaluation and systems in industry over architecture06:25 Auto regressive language models pr
Очень рекомендуют видео - Stanford CS229 I Machine Learning I Building Large Language Models (LLMs)00:10 Building Large Language Models overview02:21 Focus on data evaluation and systems in industry over architecture06:25 Auto regressive language models pr

Очень рекомендуют видео - Stanford CS229 I Machine Learning I Building Large Language Models (LLMs)00:10 Building Large Language Models overview02:21 Focus on data evaluation and systems in industry over architecture06:25 Auto regressive language models predict the next word in a sentence.08:26 Tokenizing text is crucial for language models12:38 Training a large language model involves using a large corpus of text.14:49 Tokenization process considerations18:40 Tokenization improvement in GPT 4 for code understanding20:31 Perplexity measures model hesitation between tokens24:18 Comparing outputs and model prompting26:15 Evaluation of language models can yield different results30:15 Challenge…

2 days, 13 hours назад @ t.me
В 7 утра я обычно работаю в living room пока все спят, а потом уже иду в офис смотреть на прохожих в окно👆Чем меньше вещей вокруг тем продуктивней работа.
В 7 утра я обычно работаю в living room пока все спят, а потом уже иду в офис смотреть на прохожих в окно👆Чем меньше вещей вокруг тем продуктивней работа. В 7 утра я обычно работаю в living room пока все спят, а потом уже иду в офис смотреть на прохожих в окно👆Чем меньше вещей вокруг тем продуктивней работа.

В 7 утра я обычно работаю в living room пока все спят, а потом уже иду в офис смотреть на прохожих в окно👆Чем меньше вещей вокруг тем продуктивней работа.

4 days, 4 hours назад @ t.me
Недавно проходил собес на VP Analytics&Data Engineering в Американскую большую компанию, вот это тема, никто вас не спрашивает про leetcode, алгоритмы и другие вещи. Вы сразу общаетесь с С-level, спрашиваете их про планы компании, про impact решения, р
Недавно проходил собес на VP Analytics&Data Engineering в Американскую большую компанию, вот это тема, никто вас не спрашивает про leetcode, алгоритмы и другие вещи. Вы сразу общаетесь с С-level, спрашиваете их про планы компании, про impact решения, р

Недавно проходил собес на VP Analytics&Data Engineering в Американскую большую компанию, вот это тема, никто вас не спрашивает про leetcode, алгоритмы и другие вещи. Вы сразу общаетесь с С-level, спрашиваете их про планы компании, про impact решения, размер команды и тп, в общем то, что надо🤑

5 days, 6 hours назад @ t.me
🔎 За какими дэшами следят в Amazon?С Димой (@rockyourdata) написали статью про Amazon Weekly Business Review. Идея в том, чтобы смотреть несколько основных метрик сразу на одном листе понедельно, помесячно, а также MTD, QTD, YTD (период от начала месяца/кв
🔎 За какими дэшами следят в Amazon?С Димой (@rockyourdata) написали статью про Amazon Weekly Business Review. Идея в том, чтобы смотреть несколько основных метрик сразу на одном листе понедельно, помесячно, а также MTD, QTD, YTD (период от начала месяца/кв 🔎 За какими дэшами следят в Amazon?С Димой (@rockyourdata) написали статью про Amazon Weekly Business Review. Идея в том, чтобы смотреть несколько основных метрик сразу на одном листе понедельно, помесячно, а также MTD, QTD, YTD (период от начала месяца/кв

🔎 За какими дэшами следят в Amazon?С Димой (@rockyourdata) написали статью про Amazon Weekly Business Review. Идея в том, чтобы смотреть несколько основных метрик сразу на одном листе понедельно, помесячно, а также MTD, QTD, YTD (период от начала месяца/квартала/года до текущей даты).Дима проработал в Амазоне больше 5 лет и для меня эта схема с WBR была новая. Очень интересно посмотреть, как крупные компании следят за метриками. Ну а я подробно расписала, как собрать такой мини-wbr дэшборд в Tableau (прям шаг за шагом супер детально и доступно для скачивания).

5 days, 19 hours назад @ t.me
И есть еще одна статья - «Техно-фашизм приходит в Америку» из The New Yorker1. Слияние технологий и государственной власти: В статье обсуждается объединение лидеров Кремниевой долины, таких как Илон Маск, с правительством США, что напоминает исторические п
И есть еще одна статья - «Техно-фашизм приходит в Америку» из The New Yorker1. Слияние технологий и государственной власти: В статье обсуждается объединение лидеров Кремниевой долины, таких как Илон Маск, с правительством США, что напоминает исторические п

И есть еще одна статья - «Техно-фашизм приходит в Америку» из The New Yorker1. Слияние технологий и государственной власти: В статье обсуждается объединение лидеров Кремниевой долины, таких как Илон Маск, с правительством США, что напоминает исторические примеры техно-фашизма, где технократы занимают влиятельные позиции в государстве.​2. Инициатива DOGE: Илон Маск возглавляет программу «Digital Operations Governance and Efficiency» (DOGE), направленную на использование искусственного интеллекта для оптимизации государственных функций, что приводит к значительным сокращениям и деперсонализации бюрократической структуры.​3. Исторические параллели: Автор проводит аналогии с предыдущими случаям…

6 days, 17 hours назад @ t.me
Во время выборов президента Америки можно было заметить как американские миллиардеры поддерживает Трампа. Сейчас команда Трампа наводит шороху везде, рынки теряют деньги, люди жгут и портят Теслы (в комментах скину фотку, что вчера видел у салона тесла), в
Во время выборов президента Америки можно было заметить как американские миллиардеры поддерживает Трампа. Сейчас команда Трампа наводит шороху везде, рынки теряют деньги, люди жгут и портят Теслы (в комментах скину фотку, что вчера видел у салона тесла), в

Во время выборов президента Америки можно было заметить как американские миллиардеры поддерживает Трампа. Сейчас команда Трампа наводит шороху везде, рынки теряют деньги, люди жгут и портят Теслы (в комментах скину фотку, что вчера видел у салона тесла), все бузят на Маска и множество других событий 🍿Попалась интересная статья, которая смотри на все события с другого ракурса - «Демократия закончилась: наступление корпоративной монархии»Основные тезисы:1. Три основные группы с разными, но опасными целями: - Project 2025: Реализация ультраправой, авторитарной политики. Включает запрет абортов, преследование ЛГБТ и транс-людей, отрицание климатических изменений и постоянную «культурную войну».…

6 days, 17 hours назад @ t.me
Сейчас с помощью AI хороший инженер может стать в пять раз продуктивнее, даже просто экономя время на написании YAML-файлов, создании прототипов, поиске ошибок, быстром погружении в незнакомые стеки и изучении новых языков программирования.Я и сам вижу в э
Сейчас с помощью AI хороший инженер может стать в пять раз продуктивнее, даже просто экономя время на написании YAML-файлов, создании прототипов, поиске ошибок, быстром погружении в незнакомые стеки и изучении новых языков программирования.Я и сам вижу в э Сейчас с помощью AI хороший инженер может стать в пять раз продуктивнее, даже просто экономя время на написании YAML-файлов, создании прототипов, поиске ошибок, быстром погружении в незнакомые стеки и изучении новых языков программирования.Я и сам вижу в э

Сейчас с помощью AI хороший инженер может стать в пять раз продуктивнее, даже просто экономя время на написании YAML-файлов, создании прототипов, поиске ошибок, быстром погружении в незнакомые стеки и изучении новых языков программирования.Я и сам вижу в этом множество преимуществ. Но есть нюанс. У меня и других опытных инженеров за плечами годы практики: мы самостоятельно изучали исходный код, искали примеры на StackOverflow, проходили десятки уроков и туториалов, набивали шишки, погружаясь в основы. И именно благодаря этому багажу сейчас мы можем эффективно использовать AI и становиться продуктивнее.А что делать новичкам? Если они будут погружаться в основы таким же долгим и трудоёмким сп…

1 week назад @ t.me
Ребята не принебрегайтей GitHub! Пусть у вас будет такой же зелененький календарь в профайле, как в этой душевой! PS Git сложен: легко всё про@бать, и нереально понять как исправить. Документация Git - это финиш: чтобы найти решение, тебе заранее надо зна
Ребята не принебрегайтей GitHub! Пусть у вас будет такой же зелененький календарь в профайле, как в этой душевой!  PS Git сложен: легко всё про@бать, и нереально понять как исправить. Документация Git - это финиш: чтобы найти решение, тебе заранее надо зна Ребята не принебрегайтей GitHub! Пусть у вас будет такой же зелененький календарь в профайле, как в этой душевой! PS Git сложен: легко всё про@бать, и нереально понять как исправить. Документация Git - это финиш: чтобы найти решение, тебе заранее надо зна

Ребята не принебрегайтей GitHub! Пусть у вас будет такой же зелененький календарь в профайле, как в этой душевой! PS Git сложен: легко всё про@бать, и нереально понять как исправить. Документация Git - это финиш: чтобы найти решение, тебе заранее надо знать название фишки, которая вернет всё на место.Поэтому вам в помощь - @баный Git!!!

1 week, 1 day назад @ t.me
Такая интересная история приключилась, сейчас расскажу:)В LinkedIn мне написала Ксения, и скинула ссылка на недавний подкаст с Евгением, который в 40 лет выучился на дата инженера.В небольшом подкасте он рассказал про свой путь и как учился, как искал пер
Такая интересная история приключилась, сейчас расскажу:)В LinkedIn мне написала Ксения, и скинула ссылка на недавний подкаст с Евгением, который в 40 лет выучился на дата инженера.В небольшом подкасте он рассказал про свой путь и как учился, как искал пер

Такая интересная история приключилась, сейчас расскажу:)В LinkedIn мне написала Ксения, и скинула ссылка на недавний подкаст с Евгением, который в 40 лет выучился на дата инженера.В небольшом подкасте он рассказал про свой путь и как учился, как искал первую работу https://careerselfmade.mave.digital/ep-7 Базу Женя подчерпнул на datalearn, а дальше уже стал самостоятельно углубляться, как результат полная переквалификация без платных курсов. Но как вы понимаете нужен фокус и мотивации. Так классно слышать про полезные скилы, например отдельно нарабатываем прохождения собеседований, чтобы просто ходить по собеседования и валить их, чтобы понимать куда расти и где пробелы. Или про технических…

1 week, 2 days назад @ t.me
🏆 Авито — лучший работодатель для аналитиков!По данным нового исследования NEWHR, Авито занял 1 место среди самых привлекательных компаний для аналитиков! 📊 В исследовании приняли участие 1293 аналитика разных уровней — от Junior-специалистов до руководите
🏆 Авито — лучший работодатель для аналитиков!По данным нового исследования NEWHR, Авито занял 1 место среди самых привлекательных компаний для аналитиков! 📊 В исследовании приняли участие 1293 аналитика разных уровней — от Junior-специалистов до руководите 🏆 Авито — лучший работодатель для аналитиков!По данным нового исследования NEWHR, Авито занял 1 место среди самых привлекательных компаний для аналитиков! 📊 В исследовании приняли участие 1293 аналитика разных уровней — от Junior-специалистов до руководите

🏆 Авито — лучший работодатель для аналитиков!По данным нового исследования NEWHR, Авито занял 1 место среди самых привлекательных компаний для аналитиков! 📊 В исследовании приняли участие 1293 аналитика разных уровней — от Junior-специалистов до руководителей. Более 35% респондентов выбрали Авито как лучшего работодателя. Помимо этого, 69% специалистов отметили рост зарплат в 2024 году, а 46% стали более лояльны к текущему работодателю.🚀 В Авито все решения принимаются с опорой на данные, поэтому аналитики есть в каждой продуктовой и бизнес-команде. Чтобы пользователи продолжали выбирать Авито, наши аналитики: ➡️ каждый день собирают 8 млрд новых событий и тестируют гипотезы, ➡️ создают сис…

1 week, 3 days назад @ t.me
Оказывается, Макс тоже вышел на новую работу, и они вместе с Юрой отписались в дискорде, с чем я их и поздравляю!Это полностью их заслуга. Хорошую работу с хорошей зарплатой быстро не найти, нужно пройти через сотни откликов, множество собеседований и тест
Оказывается, Макс тоже вышел на новую работу, и они вместе с Юрой отписались в дискорде, с чем я их и поздравляю!Это полностью их заслуга. Хорошую работу с хорошей зарплатой быстро не найти, нужно пройти через сотни откликов, множество собеседований и тест Оказывается, Макс тоже вышел на новую работу, и они вместе с Юрой отписались в дискорде, с чем я их и поздравляю!Это полностью их заслуга. Хорошую работу с хорошей зарплатой быстро не найти, нужно пройти через сотни откликов, множество собеседований и тест

Оказывается, Макс тоже вышел на новую работу, и они вместе с Юрой отписались в дискорде, с чем я их и поздравляю!Это полностью их заслуга. Хорошую работу с хорошей зарплатой быстро не найти, нужно пройти через сотни откликов, множество собеседований и тестовых заданий, отказов, которые выявляют пробелы в знаниях, которые нужно закрыть. В результате прокачки, получается не просто закрыть пробелы и выйти на работу, но и начать контрибутить (приносить пользу) с 1го дня работы и сразу понятно куда дальше расти.У ребят 100% валютная удаленка🍾

1 week, 4 days назад @ t.me
Все работает как часы! Если конечно хватает мотивации довести дело до конца, Юрий молодец дожал и нашел работу🚀
Все работает как часы! Если конечно хватает мотивации довести дело до конца, Юрий молодец дожал и нашел работу🚀 Все работает как часы! Если конечно хватает мотивации довести дело до конца, Юрий молодец дожал и нашел работу🚀

Все работает как часы! Если конечно хватает мотивации довести дело до конца, Юрий молодец дожал и нашел работу🚀

1 week, 4 days назад @ t.me
Практически каждый проект в инжиниринге данных начинается с package manager (пакетный менеджер), как правило для Python.С одной стороны у всех цель одна, а с другой стороны “кто в лес, кто по дрова”. Мне попались 3 хорошие статьи от Dagster на эту тему (п
Практически каждый проект в инжиниринге данных начинается с package manager (пакетный менеджер), как правило для Python.С одной стороны у всех цель одна, а с другой стороны “кто в лес, кто по дрова”. Мне попались 3 хорошие статьи от Dagster на эту тему (п

Практически каждый проект в инжиниринге данных начинается с package manager (пакетный менеджер), как правило для Python.С одной стороны у всех цель одна, а с другой стороны “кто в лес, кто по дрова”. Мне попались 3 хорошие статьи от Dagster на эту тему (про сам Dagster там нет), в которых хорошо рассказывают как это работает и как сделать удобно и красиво.Python Packages: a Primer for Data People (part 1 of 2)Python Packages: a Primer for Data People (part 2 of 2)Best Practices in Structuring Python ProjectsВообще там 11 частей, в каждом посте будут ссылки на все части, например есть и другие полезные:High-performance Python for Data EngineeringWrite-Audit-Publish in data pipelinesBreaking …

1 week, 6 days назад @ t.me
Антропик утверждает, что в 2026 появятся модели, которые — превосходят Нобелевских лауреатов в большинстве областей— умеют пользоваться всеми человеческими интерфейсами — могут работать и думать неделями— могут взаимодействовать с реальными миром через роб
Антропик утверждает, что в 2026 появятся модели, которые — превосходят Нобелевских лауреатов в большинстве областей— умеют пользоваться всеми человеческими интерфейсами — могут работать и думать неделями— могут взаимодействовать с реальными миром через роб

Антропик утверждает, что в 2026 появятся модели, которые — превосходят Нобелевских лауреатов в большинстве областей— умеют пользоваться всеми человеческими интерфейсами — могут работать и думать неделями— могут взаимодействовать с реальными миром через роботов. Самое смешное, что в мире есть еще люди, которые считают что это не гарантированно и «авось пронесет». Я не вижу ни одного сценария (технического, политического, бизнесового), в котором этого бы не произошло в течении 2 лет. Nothing stops this train. Другой вопрос: как подготовиться и что делать дальше, особенно с такими штуками как координация людей (экономика, финансы, право, политика)? Есть любопытные идеи.

2 weeks, 1 day назад @ t.me
Left Join Left Join
последний пост 1 day, 3 hours назад
Иван Вахмянин про Visiology, разработку BI-платформ и конкуренцию с Power BIБывало у вас такое, что вы смотрите на любимое приложение и думаете — все в нем хорошо, но почему туда не добавят [вставьте сюда название крутой фичи, которая в нем обязательно нуж
Иван Вахмянин про Visiology, разработку BI-платформ и конкуренцию с Power BIБывало у вас такое, что вы смотрите на любимое приложение и думаете — все в нем хорошо, но почему туда не добавят [вставьте сюда название крутой фичи, которая в нем обязательно нуж

Иван Вахмянин про Visiology, разработку BI-платформ и конкуренцию с Power BIБывало у вас такое, что вы смотрите на любимое приложение и думаете — все в нем хорошо, но почему туда не добавят [вставьте сюда название крутой фичи, которая в нем обязательно нужна]?Неужели разработчики сами не понимают, как это важно?💙 Возможно, в новом выпуске LEFT JOIN Partners вы найдете ответ.Гостем выпуска стал Иван Вахмянин, сооснователь и управляющий партнер российской BI-платформы Visiology.Иван рассказал про работу над продуктом и принципы, которыми руководствуется команда, когда добавляет или убирает какие-то функции — и почему это всегда непростое решение. Заодно обсудили, какие вообще особенности есть…

1 day, 3 hours назад @ t.me
🚀Прямой эфир с Николаем Валиотти и Анатолием Карповым 🔥Новый формат — обсуждаем в прямом эфире реальные задачи инженера данных! Анатолий Карпов расскажет, что студенты изучат во время учебы на курсе «Инженер данных», а Николай Валиотти объяснит, зачем это
🚀Прямой эфир с Николаем Валиотти и Анатолием Карповым 🔥Новый формат — обсуждаем в прямом эфире реальные задачи инженера данных! Анатолий Карпов расскажет, что студенты изучат во время учебы на курсе «Инженер данных», а Николай Валиотти объяснит, зачем это 🚀Прямой эфир с Николаем Валиотти и Анатолием Карповым 🔥Новый формат — обсуждаем в прямом эфире реальные задачи инженера данных! Анатолий Карпов расскажет, что студенты изучат во время учебы на курсе «Инженер данных», а Николай Валиотти объяснит, зачем это

🚀Прямой эфир с Николаем Валиотти и Анатолием Карповым 🔥Новый формат — обсуждаем в прямом эфире реальные задачи инженера данных! Анатолий Карпов расскажет, что студенты изучат во время учебы на курсе «Инженер данных», а Николай Валиотти объяснит, зачем это нужно инженеру на практике. Это не просто вебинар, где спикер выступает с презентацией, а живое обсуждение двух экспертов в сфере аналитики и инженерии данных. Они разберут самые важные и неоднозначные модули курса:🔵Реляционные и МРР СУБД,🔵ETL-процессы и Airflow,🔵Проектирование DWH,🔵BI для дата-инженера,🔵Управление данными.Студенты с потока, который стартует 27 марта, смогут получить оффер в LEFT JOIN — про это тоже расскажут подробнее: чт…

2 days, 3 hours назад @ t.me
Вебинар «Как развиваться в профессии инженера данных?» — сегодня!Подключайтесь в 18:00 по Мск, чтобы узнать, какие навыки помогут построить карьеру в дата-инжинирнге. Рассказывает Николай Валиотти — основатель дата-консалтинга LEFT JOIN (и этого канала), п
Вебинар «Как развиваться в профессии инженера данных?» — сегодня!Подключайтесь в 18:00 по Мск, чтобы узнать, какие навыки помогут построить карьеру в дата-инжинирнге. Рассказывает Николай Валиотти — основатель дата-консалтинга LEFT JOIN (и этого канала), п Вебинар «Как развиваться в профессии инженера данных?» — сегодня!Подключайтесь в 18:00 по Мск, чтобы узнать, какие навыки помогут построить карьеру в дата-инжинирнге. Рассказывает Николай Валиотти — основатель дата-консалтинга LEFT JOIN (и этого канала), п

Вебинар «Как развиваться в профессии инженера данных?» — сегодня!Подключайтесь в 18:00 по Мск, чтобы узнать, какие навыки помогут построить карьеру в дата-инжинирнге. Рассказывает Николай Валиотти — основатель дата-консалтинга LEFT JOIN (и этого канала), предприниматель и дата-энтузиаст, который больше 15 лет работает с данными.Про что он расскажет?🔵 Стек, которым надо владеть, чтобы стать востребованным специалистом.🔵 Hard & Soft skills, которые нужны дата-инженерам.🔵 Примеры реальных инжиниринговых задач из практики дата-консалтинга.🔜 Регистрируйтесь и приходите на вебинар!

4 days, 21 hours назад @ t.me
Про данные, будущее и поиски работыЛюбой бизнес работает с данными — хоть какими-то.А где данные, там и те, кто должен их собирать, обрабатывать и анализировать. И если на первых порах с этим можно справиться без специально обученных людей, то большие объе
Про данные, будущее и поиски работыЛюбой бизнес работает с данными — хоть какими-то.А где данные, там и те, кто должен их собирать, обрабатывать и анализировать. И если на первых порах с этим можно справиться без специально обученных людей, то большие объе Про данные, будущее и поиски работыЛюбой бизнес работает с данными — хоть какими-то.А где данные, там и те, кто должен их собирать, обрабатывать и анализировать. И если на первых порах с этим можно справиться без специально обученных людей, то большие объе

Про данные, будущее и поиски работыЛюбой бизнес работает с данными — хоть какими-то.А где данные, там и те, кто должен их собирать, обрабатывать и анализировать. И если на первых порах с этим можно справиться без специально обученных людей, то большие объемы и сложные пайплайны требуют участия дата-инженеров.В общем, спрос на дата-специалистов никуда не денется, как бы ни лихорадило рынок ИТ, но найти работу и построить успешную карьеру — это все равно челлендж.🔜 Ребята из karpov.courses разобрались, какие знания и навыки дадут преимущество перед остальными кандидатами. Еще и спросили мнение экспертов, которые в аналитике и дата-инжиниринге не первый год (среди них вы можете заметить знаком…

4 days, 23 hours назад @ t.me
Как развиваться в профессии инженера данных?Совсем скоро стартует новый поток курса «Инженер данных» — тот самый, где студенты могут получить не только знания, но и работу в LEFT JOIN.А перед началом учебы на вебинаре разберемся, что должен знать и уметь и
Как развиваться в профессии инженера данных?Совсем скоро стартует новый поток курса «Инженер данных» — тот самый, где студенты могут получить не только знания, но и работу в LEFT JOIN.А перед началом учебы на вебинаре разберемся, что должен знать и уметь и Как развиваться в профессии инженера данных?Совсем скоро стартует новый поток курса «Инженер данных» — тот самый, где студенты могут получить не только знания, но и работу в LEFT JOIN.А перед началом учебы на вебинаре разберемся, что должен знать и уметь и

Как развиваться в профессии инженера данных?Совсем скоро стартует новый поток курса «Инженер данных» — тот самый, где студенты могут получить не только знания, но и работу в LEFT JOIN.А перед началом учебы на вебинаре разберемся, что должен знать и уметь инженер данных, чтобы успешно развиваться в профессии и повышать грейд. Вебинар проведет Николай Валиотти — создатель канала и основатель дата-консалтинга LEFT JOIN. 🔵 С каким стеком нужно уметь работать?🔵 Какие «софты» и «харды» пригодятся DE, и как требования к ним меняются в зависимости от грейда?🔵 Что именно делает инженер данных и какие задачи решает? Разберем на примере трех реальных проектов из нашей практики.Вебинар пройдет 18 марта…

1 week, 2 days назад @ t.me
LEFT JOIN открыл вакансии инженера данных для студентов karpov.соursesЭто значит, что все оплатившие обучение на курсе «Инженер данных» до 27 марта, смогут претендовать на позицию Middle Data Engineer в компании. Чем предстоит заниматься, раскроем через ре
LEFT JOIN открыл вакансии инженера данных для студентов karpov.соursesЭто значит, что все оплатившие обучение на курсе «Инженер данных» до 27 марта, смогут претендовать на позицию Middle Data Engineer в компании. Чем предстоит заниматься, раскроем через ре LEFT JOIN открыл вакансии инженера данных для студентов karpov.соursesЭто значит, что все оплатившие обучение на курсе «Инженер данных» до 27 марта, смогут претендовать на позицию Middle Data Engineer в компании. Чем предстоит заниматься, раскроем через ре

LEFT JOIN открыл вакансии инженера данных для студентов karpov.соursesЭто значит, что все оплатившие обучение на курсе «Инженер данных» до 27 марта, смогут претендовать на позицию Middle Data Engineer в компании. Чем предстоит заниматься, раскроем через реальный кейс. Попробуйте решить ↓Реальный кейс от LEFT JOIN: Биллинг-сервис для медицинских организаций пришел с задачей. Хочет автоматизировать обработку данных в трансформационном слое и зашифровать данные клиентов. В качестве материалов вам отдали сырые данные о клиентах и их платежах. Попросили использовать в работе инструмент Key management.

1 week, 2 days назад @ t.me
Сегодня не пятница, но это не повод не запостить #мем
Сегодня не пятница, но это не повод не запостить #мем Сегодня не пятница, но это не повод не запостить #мем

Сегодня не пятница, но это не повод не запостить #мем

1 week, 4 days назад @ t.me
ClickHouse в практике дата-консалтингаМы довольно часто имеем дело с ClickHouse на своих проектах. Это колоночная СУБД, которую выбирают за то, что она на уровне архитектуры оптимизирована для быстрой обработки больших объемов данных. При всех сильных стор
ClickHouse в практике дата-консалтингаМы довольно часто имеем дело с ClickHouse на своих проектах. Это колоночная СУБД, которую выбирают за то, что она на уровне архитектуры оптимизирована для быстрой обработки больших объемов данных. При всех сильных стор ClickHouse в практике дата-консалтингаМы довольно часто имеем дело с ClickHouse на своих проектах. Это колоночная СУБД, которую выбирают за то, что она на уровне архитектуры оптимизирована для быстрой обработки больших объемов данных. При всех сильных стор

ClickHouse в практике дата-консалтингаМы довольно часто имеем дело с ClickHouse на своих проектах. Это колоночная СУБД, которую выбирают за то, что она на уровне архитектуры оптимизирована для быстрой обработки больших объемов данных. При всех сильных сторонах у нее есть и минусы вроде отсутствия полноценной поддержки транзакций или сложностей при точечных операциях.В совокупности это все делает ClickHouse отличным вариантом для проектов, где данных уже много, в перспективе станет еще больше, и их надо быстро обрабатывать, возможно даже в режиме реального времени — например, стримингов или рекламных платформ.🔜 Выложили в нашем блоге новую статью, где кратко рассказали, что знаем про ClickHo…

1 week, 5 days назад @ t.me
Команда NEWHR подвела итоги исследования рынка аналитиков, которое проводила в конце 2024! 🔥Мы тогда выступили в качестве инфопартнера проекта и теперь рады поделиться с вами результатами.
Команда NEWHR подвела итоги исследования рынка аналитиков, которое проводила в конце 2024! 🔥Мы тогда выступили в качестве инфопартнера проекта и теперь рады поделиться с вами результатами.

Команда NEWHR подвела итоги исследования рынка аналитиков, которое проводила в конце 2024! 🔥Мы тогда выступили в качестве инфопартнера проекта и теперь рады поделиться с вами результатами.

2 weeks, 2 days назад @ t.me
🔥 Исследование рынка аналитиков 2024: полные результаты Мы опросили 1293 аналитиков 6-ти специализаций и готовы рассказать вам: ➤ Какие задачи решают аналитики➤ Что с релокацией у аналитиков ➤ Сколько зарабатывают аналитики➤ ТОП и анти-ТОП компаний для ан
🔥 Исследование рынка аналитиков 2024: полные результаты  Мы опросили 1293 аналитиков 6-ти специализаций и готовы рассказать вам: ➤ Какие задачи решают аналитики➤ Что с релокацией у аналитиков ➤ Сколько зарабатывают аналитики➤ ТОП и анти-ТОП компаний для ан 🔥 Исследование рынка аналитиков 2024: полные результаты Мы опросили 1293 аналитиков 6-ти специализаций и готовы рассказать вам: ➤ Какие задачи решают аналитики➤ Что с релокацией у аналитиков ➤ Сколько зарабатывают аналитики➤ ТОП и анти-ТОП компаний для ан

🔥 Исследование рынка аналитиков 2024: полные результаты Мы опросили 1293 аналитиков 6-ти специализаций и готовы рассказать вам: ➤ Какие задачи решают аналитики➤ Что с релокацией у аналитиков ➤ Сколько зарабатывают аналитики➤ ТОП и анти-ТОП компаний для аналитиков➤ Что ценят в аналитической культуре➤ За какими экспертами следят аналитикиБудем рады, если вы поделитесь результатами исследования с коллегами, знакомыми, друзьями аналитиками и всеми, кому может быть интересно 🫶👉 Смотреть полные результаты Все, кто принял участие в нашем исследовании и оставлял почту, проверьте её! От нас должно прийти письмо с приглашением на закрытый стрим для респондентов 🙏💙 Команда NEWHR анализирует IT-рынок в…

2 weeks, 2 days назад @ t.me
Аналитика + логистика: выбираем новую локацию для складаКогда мы говорим про пользу аналитики, мы всегда упираем на то, что она помогает принимать решения на основе данных.Звучит красиво, но без примеров слишком абстрактно.Хорошо, что пример у нас есть — и
Аналитика + логистика: выбираем новую локацию для складаКогда мы говорим про пользу аналитики, мы всегда упираем на то, что она помогает принимать решения на основе данных.Звучит красиво, но без примеров слишком абстрактно.Хорошо, что пример у нас есть — и Аналитика + логистика: выбираем новую локацию для складаКогда мы говорим про пользу аналитики, мы всегда упираем на то, что она помогает принимать решения на основе данных.Звучит красиво, но без примеров слишком абстрактно.Хорошо, что пример у нас есть — и

Аналитика + логистика: выбираем новую локацию для складаКогда мы говорим про пользу аналитики, мы всегда упираем на то, что она помогает принимать решения на основе данных.Звучит красиво, но без примеров слишком абстрактно.Хорошо, что пример у нас есть — и нет, он не про маркетинг и про то, как с помощью дашборда выбрали баннер, который нагеренерил больше всего лидов.🔜 Это кейс Wing — телеком-оператора из Нью-Йорка, с которым мы работали несколько лет назад.🔵 Wing предоставляет услуги связи, продает смартфоны и отправляет клиентам сим-карты и комплекты для подключения (роутер, маршрутизатор, кабели).🔵 Когда мы начали работать, у заказчика было два больших склада — в Нью-Йорке и Техасе. Отту…

2 weeks, 2 days назад @ t.me
Trisigma — аналитическая платформа от Авито ТехTrisigma призвана ускорить разработку и развитие продуктов за счет комплексной аналитики и автоматизации A/B-тестирования. Она дает возможность проверить гипотезы и новые функции, а также оценить их влияние на
Trisigma — аналитическая платформа от Авито ТехTrisigma призвана ускорить разработку и развитие продуктов за счет комплексной аналитики и автоматизации A/B-тестирования. Она дает возможность проверить гипотезы и новые функции, а также оценить их влияние на Trisigma — аналитическая платформа от Авито ТехTrisigma призвана ускорить разработку и развитие продуктов за счет комплексной аналитики и автоматизации A/B-тестирования. Она дает возможность проверить гипотезы и новые функции, а также оценить их влияние на

Trisigma — аналитическая платформа от Авито ТехTrisigma призвана ускорить разработку и развитие продуктов за счет комплексной аналитики и автоматизации A/B-тестирования. Она дает возможность проверить гипотезы и новые функции, а также оценить их влияние на бизнес-показатели, проводя сотни тестов одновременно.Платформа разворачивается в облаке и легко интегрируется в ИТ-инфраструктуру компании для обмена данными с другими компонентами системы. Она нетребовательна к ресурсам, поэтому внедрить ее сможет как корпорация, так и небольшой стартап. Особенно полезен инструмент будет финтехам, эдтехам и стриминговым сервисам — тем, кому важно постоянно развивать и дорабатывать свои продукты с опорой …

2 weeks, 2 days назад @ t.me
Открыт предзаказ на мерч LEFT JOIN!Хотите классный стильный мерч, который покажет окружающим, как сильно вы любите данные? Теперь вы можете его заказать! Партия футболок «Навизуализировал» ждет своих владельцев.🔵 Стоимость — 2500 рублей.🔵 Доступны 5 размер
Открыт предзаказ на мерч LEFT JOIN!Хотите классный стильный мерч, который покажет окружающим, как сильно вы любите данные? Теперь вы можете его заказать! Партия футболок «Навизуализировал» ждет своих владельцев.🔵 Стоимость — 2500 рублей.🔵 Доступны 5 размер Открыт предзаказ на мерч LEFT JOIN!Хотите классный стильный мерч, который покажет окружающим, как сильно вы любите данные? Теперь вы можете его заказать! Партия футболок «Навизуализировал» ждет своих владельцев.🔵 Стоимость — 2500 рублей.🔵 Доступны 5 размер

Открыт предзаказ на мерч LEFT JOIN!Хотите классный стильный мерч, который покажет окружающим, как сильно вы любите данные? Теперь вы можете его заказать! Партия футболок «Навизуализировал» ждет своих владельцев.🔵 Стоимость — 2500 рублей.🔵 Доступны 5 размеров: S, M, L, XL, 2XL🔵 Отправляем Почтой России и СДЭКом только по РФ. Если вы живете за границей, то можем отправить вашим друзьям-родным, которые будут согласны переслать футболку вам.🔵 Дизайн со всех сторон показали в своей статье.🔜 Чтобы оставить заявку, стучитесь к нашему боту. Вскоре с вам свяжется наш сотрудник для оплаты и подтверждения заказа. Все вопросы задавайте в комментариях к этому посту.

2 weeks, 2 days назад @ t.me
Курс от karpov.соurses + оффер от LEFT JOIN27 марта в karpov.соurses стартует курс «Инженер данных». Он рассчитан на студентов уровня Junior+/Middle, которые хотят прокачать скиллы по:🔵 работе с БД, DWH, BI‑платформами и облачными сервисами,🔵 автоматизации
Курс от karpov.соurses + оффер от LEFT JOIN27 марта в karpov.соurses стартует курс «Инженер данных». Он рассчитан на студентов уровня Junior+/Middle, которые хотят прокачать скиллы по:🔵 работе с БД, DWH, BI‑платформами и облачными сервисами,🔵 автоматизации Курс от karpov.соurses + оффер от LEFT JOIN27 марта в karpov.соurses стартует курс «Инженер данных». Он рассчитан на студентов уровня Junior+/Middle, которые хотят прокачать скиллы по:🔵 работе с БД, DWH, BI‑платформами и облачными сервисами,🔵 автоматизации

Курс от karpov.соurses + оффер от LEFT JOIN27 марта в karpov.соurses стартует курс «Инженер данных». Он рассчитан на студентов уровня Junior+/Middle, которые хотят прокачать скиллы по:🔵 работе с БД, DWH, BI‑платформами и облачными сервисами,🔵 автоматизации ETL-процессов,🔵 обработке больших данных,🔵 применению ML-моделей.Курс поможет не только получить новые знания и упорядочить старые, но и найти работу — 2 студента из потока смогут попасть в штат LEFT JOIN на должность Middle Data Engineer.Для этого понадобится:🔵 на старте обучения отправить резюме нашему HR,🔵 пройти 50% курса без срыва дедлайнов,🔵 выполнить тестовое задание и пройти интервью.Успешные кандидаты получат оффер.🔜 Подать заявк…

2 weeks, 3 days назад @ t.me
Сломалась платформа vc, но не мы — все те же маркетологи, все те же зарплатыПомните, мы публиковали статью про зарплаты маркетологов и наш интерактивный дашборд? Площадка не дала нам возможность продвинуть ее так, как хотелось, поэтому мы решили попытать с
Сломалась платформа vc, но не мы — все те же маркетологи, все те же зарплатыПомните, мы публиковали статью про зарплаты маркетологов и наш интерактивный дашборд? Площадка не дала нам возможность продвинуть ее так, как хотелось, поэтому мы решили попытать с

Сломалась платформа vc, но не мы — все те же маркетологи, все те же зарплатыПомните, мы публиковали статью про зарплаты маркетологов и наш интерактивный дашборд? Площадка не дала нам возможность продвинуть ее так, как хотелось, поэтому мы решили попытать счастья еще раз.И как никогда нам нужна ваша поддержка в виде лайков и комментариев.Поддержите нашу статью еще раз 🔜 https://vc.ru/hr/1846874

2 weeks, 4 days назад @ t.me
SQLite на практике SQLite на практике
последний пост 7 months, 2 weeks назад
Datalytics Datalytics
последний пост 5 days, 1 hour назад
🔎 За какими дэшами следят в Amazon?С Димой (@rockyourdata) написали статью про Amazon Weekly Business Review. Идея в том, чтобы смотреть несколько основных метрик сразу на одном листе понедельно, помесячно, а также MTD, QTD, YTD (период от начала месяца/кв
🔎 За какими дэшами следят в Amazon?С Димой (@rockyourdata) написали статью про Amazon Weekly Business Review. Идея в том, чтобы смотреть несколько основных метрик сразу на одном листе понедельно, помесячно, а также MTD, QTD, YTD (период от начала месяца/кв 🔎 За какими дэшами следят в Amazon?С Димой (@rockyourdata) написали статью про Amazon Weekly Business Review. Идея в том, чтобы смотреть несколько основных метрик сразу на одном листе понедельно, помесячно, а также MTD, QTD, YTD (период от начала месяца/кв

🔎 За какими дэшами следят в Amazon?С Димой (@rockyourdata) написали статью про Amazon Weekly Business Review. Идея в том, чтобы смотреть несколько основных метрик сразу на одном листе понедельно, помесячно, а также MTD, QTD, YTD (период от начала месяца/квартала/года до текущей даты).Дима проработал в Амазоне больше 5 лет и для меня эта схема с WBR была новая. Очень интересно посмотреть, как крупные компании следят за метриками. Ну а я подробно расписала, как собрать такой мини-wbr дэшборд в Tableau (прям шаг за шагом супер детально и доступно для скачивания).

5 days, 1 hour назад @ t.me
ML-комьюнити о крупнейших запусках LLM начала 2025 года:✔️ DeepSeek — революция или переоцененный запуск?Запуск китайской модели всколыхнул всю индустрию, вызвав неоднозначную реакцию экспертов. CEO Anthropic Дарио Амодей отмечает, что Claude 3.5 Sonnet, о
ML-комьюнити о крупнейших запусках LLM начала 2025 года:✔️ DeepSeek — революция или переоцененный запуск?Запуск китайской модели всколыхнул всю индустрию, вызвав неоднозначную реакцию экспертов. CEO Anthropic Дарио Амодей отмечает, что Claude 3.5 Sonnet, о

ML-комьюнити о крупнейших запусках LLM начала 2025 года:✔️ DeepSeek — революция или переоцененный запуск?Запуск китайской модели всколыхнул всю индустрию, вызвав неоднозначную реакцию экспертов. CEO Anthropic Дарио Амодей отмечает, что Claude 3.5 Sonnet, обученный за несколько десятков миллионов долларов, значительно опережает DeepSeek по многим показателям, плюс у модели нет никаких барьеров против генерации чувствительной информации. Демис Хассабис, генеральный директор Google DeepMind, считает DeepSeek лучшей работой китайских исследователей, но не видит в ней новых научных достижений.✔️ Grok 3 — Маск не дотянулИИ-исследователь и профессор Пенсильванского университета Итан Моллик признал…

1 week, 1 day назад @ t.me
Каждый день технологии делают шаг вперёд, принося нам новые возможности и задачи. В мире IT креативность и логика объединяются, чтобы воплотить самые дерзкие идеи в реальность. 🧑‍💻Чтобы помочь вам оставаться в курсе и сэкономить время, мы объединились с др
Каждый день технологии делают шаг вперёд, принося нам новые возможности и задачи. В мире IT креативность и логика объединяются, чтобы воплотить самые дерзкие идеи в реальность. 🧑‍💻Чтобы помочь вам оставаться в курсе и сэкономить время, мы объединились с др

Каждый день технологии делают шаг вперёд, принося нам новые возможности и задачи. В мире IT креативность и логика объединяются, чтобы воплотить самые дерзкие идеи в реальность. 🧑‍💻Чтобы помочь вам оставаться в курсе и сэкономить время, мы объединились с другими каналами в единую папку. В ней мы рассказываем об искусственном интеллекте, виртуальной реальности, метавселенной, разработке и людях, стоящих за этими технологиями.Эта коллекция подойдёт не только профессионалам, но и всем, кто интересуется темой технологий и будущего.Но есть небольшой нюанс: завтра этот пост исчезнет. Поэтому, если хотите присоединиться, добавьте папку себе прямо сейчас! 👇https://t.me/addlist/Xz6g75fbNDA5ZWIy*А поп…

1 week, 2 days назад @ t.me
Почему не всем нужен личный брендКогда долго сидишь в телеге и читаешь профильные каналы, то начинает казаться, что все вокруг заняты личным брендом. Даже люди, которые ещё не работают в IT, начинают вести свои каналы о том как они вкатываются в ITИ многие
Почему не всем нужен личный брендКогда долго сидишь в телеге и читаешь профильные каналы, то начинает казаться, что все вокруг заняты личным брендом. Даже люди, которые ещё не работают в IT, начинают вести свои каналы о том как они вкатываются в ITИ многие

Почему не всем нужен личный брендКогда долго сидишь в телеге и читаешь профильные каналы, то начинает казаться, что все вокруг заняты личным брендом. Даже люди, которые ещё не работают в IT, начинают вести свои каналы о том как они вкатываются в ITИ многие начинают переживать: а вдруг и мне надо?Важно понимать, что не каждому подходит и нравится публичность. Так что первый шаг — определить зачем вам личный бренд и действительно ли он нужен как некоторое позиционирование самого себя аки продукта или вам нужны другие инструментыТут может быть много причин: сделать заметнее свой вклад в компанию или в индустрию, передавать свой опыт другим, завести друзей/знакомых среди аналитиков из других ко…

1 week, 3 days назад @ t.me
Что делать если продакт/менеджер влезает в работу аналитикаАналитики очень часто считают себя самыми умными ребятами в комнате. Потому что они системные, работающие с фактами, а не вымыслами/домыслами, классический тип людей, считающих что только логика мо
Что делать если продакт/менеджер влезает в работу аналитикаАналитики очень часто считают себя самыми умными ребятами в комнате. Потому что они системные, работающие с фактами, а не вымыслами/домыслами, классический тип людей, считающих что только логика мо

Что делать если продакт/менеджер влезает в работу аналитикаАналитики очень часто считают себя самыми умными ребятами в комнате. Потому что они системные, работающие с фактами, а не вымыслами/домыслами, классический тип людей, считающих что только логика может решить проблемуОчень часто менеджеры/продакты ищут в аналитиках поддержки своих идей, аналитики им нужны не для объективного взгляда на вещи, а они ожидают, что аналитики принесут им те аргументы, которые докажут правильность их интуитивных прозрений. Классический confirmation biasИ естественно, что первая реакция аналитика — это защищаться, когда менеджер пытается как-то влезать в вашу работу, задавать вопросы вида «А почему вот тут п…

1 week, 5 days назад @ t.me
Освойте основной инструмент работы аналитикаАналитику часто приходится обрабатывать огромные массивы информации, чтобы реально что-то «увидеть» в данных.Это можно долго и тяжело делать с помощью Excel, чуть легче с помощью SQL. А в Pandas это можно сделать
Освойте основной инструмент работы аналитикаАналитику часто приходится обрабатывать огромные массивы информации, чтобы реально что-то «увидеть» в данных.Это можно долго и тяжело делать с помощью Excel, чуть легче с помощью SQL. А в Pandas это можно сделать Освойте основной инструмент работы аналитикаАналитику часто приходится обрабатывать огромные массивы информации, чтобы реально что-то «увидеть» в данных.Это можно долго и тяжело делать с помощью Excel, чуть легче с помощью SQL. А в Pandas это можно сделать

Освойте основной инструмент работы аналитикаАналитику часто приходится обрабатывать огромные массивы информации, чтобы реально что-то «увидеть» в данных.Это можно долго и тяжело делать с помощью Excel, чуть легче с помощью SQL. А в Pandas это можно сделать за несколько строк кода. Отсюда и вытекает важность Pandas для аналитика - этот инструмент банально очень сильно делает жизнь проще и приятней, а работу - эффективней.Научиться работать с Pandas на реальных задачах бизнеса можно на бесплатном курсе от Simulative.За неделю обучения вы:🟠 Освоите Pandas с нуля до продвинутых функций: сложная агрегация, оконные функции и т.д.🟠 Научитесь решать реальные аналитические задачи: проводить многомер…

2 weeks, 1 day назад @ t.me
Больше не нужно искать тематические каналы и по отдельности на них подписываться - мы сделали это за Вас 🤝Вам остается только сохранить папку себе и регулярно получать полезные ресурсы из сферы «IT и Технологий» 🔥https://t.me/addlist/5jXPzjNApF44ZjcyХот
Больше не нужно искать тематические каналы и по отдельности на них подписываться - мы сделали это за Вас 🤝Вам остается только сохранить папку себе и регулярно получать полезные ресурсы из сферы «IT и Технологий» 🔥https://t.me/addlist/5jXPzjNApF44ZjcyХот

Больше не нужно искать тематические каналы и по отдельности на них подписываться - мы сделали это за Вас 🤝Вам остается только сохранить папку себе и регулярно получать полезные ресурсы из сферы «IT и Технологий» 🔥https://t.me/addlist/5jXPzjNApF44ZjcyХотите в подборку?

2 weeks, 5 days назад @ t.me
✒️ Разбираем тестовое задание в Альфа Банк на позицию Junior Аналитика данных Чтобы найти работу, мало пройти курс и сделать классное резюме. На практике, чтобы выделиться на собеседовании, нужно понимать, что лежит под капотом каждого инструмента, а не сл
✒️ Разбираем тестовое задание в Альфа Банк на позицию Junior Аналитика данных Чтобы найти работу, мало пройти курс и сделать классное резюме. На практике, чтобы выделиться на собеседовании, нужно понимать, что лежит под капотом каждого инструмента, а не сл ✒️ Разбираем тестовое задание в Альфа Банк на позицию Junior Аналитика данных Чтобы найти работу, мало пройти курс и сделать классное резюме. На практике, чтобы выделиться на собеседовании, нужно понимать, что лежит под капотом каждого инструмента, а не сл

✒️ Разбираем тестовое задание в Альфа Банк на позицию Junior Аналитика данных Чтобы найти работу, мало пройти курс и сделать классное резюме. На практике, чтобы выделиться на собеседовании, нужно понимать, что лежит под капотом каждого инструмента, а не следовать конкретному заученному алгоритму. Чтобы попрактиковаться в этом, приходите на бесплатный вебинар, где будем разбирать реальное тестовое задание, которое дают аналитикам в Альфа Банке💻 Что будем делать на вебинаре: 🟠 Напишем сложные SQL-запросы для банковских данных;🟠 Вспомним, как правильно использовать оконные функции;🟠 Узнаем, как создавать разметку, из чего она состоит и для чего она нужна;🟠 На реальных данных проведем когортный…

3 weeks, 3 days назад @ t.me
Мы начинаем
Мы начинаем

Мы начинаем

3 weeks, 4 days назад @ t.me
Сегодня Яндекс анонсировал новое поколение языковых моделей YandexGPT 5, и мне было бы совсем неинтересно обсуждать очередную версию LLM, если бы не некоторые детали. Например, компания вернулась к публикации моделей в опенсорс впервые с 2022 года, подробн
Сегодня Яндекс анонсировал новое поколение языковых моделей YandexGPT 5, и мне было бы совсем неинтересно обсуждать очередную версию LLM, если бы не некоторые детали. Например, компания вернулась к публикации моделей в опенсорс впервые с 2022 года, подробн

Сегодня Яндекс анонсировал новое поколение языковых моделей YandexGPT 5, и мне было бы совсем неинтересно обсуждать очередную версию LLM, если бы не некоторые детали. Например, компания вернулась к публикации моделей в опенсорс впервые с 2022 года, подробнее об этом нижеНачнём с YandexGPT 5 Pro. При её создании команда пошла по пути оптимизации процесса обучения. Улучшили датасет, добавив больше сложных и разнообразных примеров. Внедрили собственную модификацию DPO (LogDPO) для борьбы с эффектом «разучивания». Применили метод гибридного обучения, добавив базовые настройки открытой модели Qwen. А благодаря оптимизации процесса с помощью YaFSDP удалось снизить потребность в вычислительных рес…

3 weeks, 4 days назад @ t.me
Курс по ETL-разработке и оркестрации на базе Dagster и Apache NifiЭто не просто курс — это практика, оттачиваемая на реальных задачах прямо в тренажере. Никакой воды, только концентрированный опыт, который сразу идет в работу.Что вас ожидает:Глубокое погру
Курс по ETL-разработке и оркестрации на базе Dagster и Apache NifiЭто не просто курс — это практика, оттачиваемая на реальных задачах прямо в тренажере. Никакой воды, только концентрированный опыт, который сразу идет в работу.Что вас ожидает:Глубокое погру Курс по ETL-разработке и оркестрации на базе Dagster и Apache NifiЭто не просто курс — это практика, оттачиваемая на реальных задачах прямо в тренажере. Никакой воды, только концентрированный опыт, который сразу идет в работу.Что вас ожидает:Глубокое погру

Курс по ETL-разработке и оркестрации на базе Dagster и Apache NifiЭто не просто курс — это практика, оттачиваемая на реальных задачах прямо в тренажере. Никакой воды, только концентрированный опыт, который сразу идет в работу.Что вас ожидает:Глубокое погружение в Dagster: Изучите один из ключевых инструментов современной modern data stack, который завоевал популярность среди аналитиков и дата-инженеров по всему миру. Dagster дает больше гибкости и позволяет строить более сложные пайплайны.Практические навыки: Решите более 60 задач из различных бизнес-сфер, которые станут частью вашего портфолио и усилят ваше резюме для международного рынка.Современные технологии: Освойте работу с Software D…

4 weeks, 1 day назад @ t.me
Автоматизация DataVault: как создать модель данных в 3 раза быстрееТрадиционные хранилища данных — это дорого, сложно и долго. Разработка моделей, ETL и обновление данных требуют времени и ресурсов.На бесплатном вебинаре разберём, как автоматизировать эти
Автоматизация DataVault: как создать модель данных в 3 раза быстрееТрадиционные хранилища данных — это дорого, сложно и долго. Разработка моделей, ETL и обновление данных требуют времени и ресурсов.На бесплатном вебинаре разберём, как автоматизировать эти Автоматизация DataVault: как создать модель данных в 3 раза быстрееТрадиционные хранилища данных — это дорого, сложно и долго. Разработка моделей, ETL и обновление данных требуют времени и ресурсов.На бесплатном вебинаре разберём, как автоматизировать эти

Автоматизация DataVault: как создать модель данных в 3 раза быстрееТрадиционные хранилища данных — это дорого, сложно и долго. Разработка моделей, ETL и обновление данных требуют времени и ресурсов.На бесплатном вебинаре разберём, как автоматизировать эти процессы без сложного кодинга и ускорить работу в 3 раза с помощью DataVault.Что вас ждёт:- Как DataVault меняет управление данными- Автоматизация ETL, мониторинга и документирования- Практическая демонстрация low-code решений📌 Дата: 27 феврала в 12:00 (мск)Спикер: Павел Хамрин, эксперт по DWH и BI (10+ лет опыта)Зарегистрируйтесь и узнайте, как создать хранилище данных быстрее и эффективнее.Реклама. ООО "Ласмарт", ИНН 7814186283erid: 2Vtz…

1 month назад @ t.me
Как ИИ поможет построить успешную карьеру в ITНе знаете, как двигаться дальше в карьере? Выбрать ли экспертный трек или стремиться к роли руководителя? Какие навыки развивать? Как подготовить резюме перед сменой работы? Как готовиться к собеседованиям?На э
Как ИИ поможет построить успешную карьеру в ITНе знаете, как двигаться дальше в карьере? Выбрать ли экспертный трек или стремиться к роли руководителя? Какие навыки развивать? Как подготовить резюме перед сменой работы? Как готовиться к собеседованиям?На э Как ИИ поможет построить успешную карьеру в ITНе знаете, как двигаться дальше в карьере? Выбрать ли экспертный трек или стремиться к роли руководителя? Какие навыки развивать? Как подготовить резюме перед сменой работы? Как готовиться к собеседованиям?На э

Как ИИ поможет построить успешную карьеру в ITНе знаете, как двигаться дальше в карьере? Выбрать ли экспертный трек или стремиться к роли руководителя? Какие навыки развивать? Как подготовить резюме перед сменой работы? Как готовиться к собеседованиям?На эти и многие другие вопросы про карьеру можно ответить с помощью построения четкой карьерной стратегии, которая должна учитывать ваши цели, опыт и ваши сильные стороны как профессионалаНа бесплатном вебинаре вы узнаете:- 🔹 Как использовать ИИ для создания личного карьерного плана- 🔹 Какие инструменты помогут в достижении ваших профессиональных целей- 🔹 Как ИИ может облегчить рутинные задачи и ускорить ваш рост🗓 Когда: 25 февраля, 19:00 (мск…

1 month назад @ t.me
Вы когда-нибудь бывали в квартире, где живут аналитики? Это место, где на кухне можно подслушать сплетни про A/Б-тесты и метрики, почитать честные мысли о работе в большой IT-компании и пообщаться с сотрудниками аналитики Авито не в рамках конференций, а п
Вы когда-нибудь бывали в квартире, где живут аналитики? Это место, где на кухне можно подслушать сплетни про A/Б-тесты и метрики, почитать честные мысли о работе в большой IT-компании и пообщаться с сотрудниками аналитики Авито не в рамках конференций, а п Вы когда-нибудь бывали в квартире, где живут аналитики? Это место, где на кухне можно подслушать сплетни про A/Б-тесты и метрики, почитать честные мысли о работе в большой IT-компании и пообщаться с сотрудниками аналитики Авито не в рамках конференций, а п

Вы когда-нибудь бывали в квартире, где живут аналитики? Это место, где на кухне можно подслушать сплетни про A/Б-тесты и метрики, почитать честные мысли о работе в большой IT-компании и пообщаться с сотрудниками аналитики Авито не в рамках конференций, а просто в комментариях.Попасть в это место довольно просто — подписывайтесь на телеграм-канал «Коммуналка аналитиков».✍️ Аналитики Авито делятся невыдуманными историями из жизни и работы.✍️ Рассказывают про успехи и фейлы из рабочих будней. ✍️ Обмениваются мемами, запускают голосования за любимые фильмы и активности.✍️ Устраивают обсуждения с подписчиками канала.✍️ Показывают, как устроена аналитическая культура комании изнутри.И доказывают,…

1 month назад @ t.me
1–2 марта проводим Weekend Offer AnalyticsУстроиться в Яндекс за выходные — реально. Ищем крутых аналитиков с опытом работы от 2 лет на Python, готовых работать в офисном или гибридном режиме на территории России.Подавайте заявку до 24 февраля — и всего за
1–2 марта проводим Weekend Offer AnalyticsУстроиться в Яндекс за выходные — реально. Ищем крутых аналитиков с опытом работы от 2 лет на Python, готовых работать в офисном или гибридном режиме на территории России.Подавайте заявку до 24 февраля — и всего за 1–2 марта проводим Weekend Offer AnalyticsУстроиться в Яндекс за выходные — реально. Ищем крутых аналитиков с опытом работы от 2 лет на Python, готовых работать в офисном или гибридном режиме на территории России.Подавайте заявку до 24 февраля — и всего за

1–2 марта проводим Weekend Offer AnalyticsУстроиться в Яндекс за выходные — реально. Ищем крутых аналитиков с опытом работы от 2 лет на Python, готовых работать в офисном или гибридном режиме на территории России.Подавайте заявку до 24 февраля — и всего за 2 дня пройдите все технические собеседования. После сможете пообщаться с одиннадцатью нанимающими командами и выбрать ту, которая покажется самой интересной. Если всё сложится хорошо, сразу же пришлём вам офер.Узнать подробности и зарегистрироваться.

1 month назад @ t.me
Труба данных Труба данных
последний пост 2 days, 1 hour назад
https://x-x.codes/posts/100-tips-on-how-to-use-me/Если вам удалось попробовать заниматься разработкой с агентами, то вот прекрасный набор советов о том, как этот процесс ускорить и улучшить.По себе могу заметить, как изменился flow разработки, в очень инте
https://x-x.codes/posts/100-tips-on-how-to-use-me/Если вам удалось попробовать заниматься разработкой с агентами, то вот прекрасный набор советов о том, как этот процесс ускорить и улучшить.По себе могу заметить, как изменился flow разработки, в очень инте

https://x-x.codes/posts/100-tips-on-how-to-use-me/Если вам удалось попробовать заниматься разработкой с агентами, то вот прекрасный набор советов о том, как этот процесс ускорить и улучшить.По себе могу заметить, как изменился flow разработки, в очень интересном мире мы живем 🤪@ohmydataengineer - канал "🕯Труба Данных"

2 days, 1 hour назад @ t.me
https://blog.2minutestreaming.com/p/apache-kafka-4-0-releaseЧто касается изменений в 4.0 у Кафки (релиз состоялся), уход на покой Zookeeper не самый горячий пирожочек.А вот это - да.KIP-932: Queues (EA) 🚇Perhaps the hottest new feature, Queues introduces a
https://blog.2minutestreaming.com/p/apache-kafka-4-0-releaseЧто касается изменений в 4.0 у Кафки (релиз состоялся), уход на покой Zookeeper не самый горячий пирожочек.А вот это - да.KIP-932: Queues (EA) 🚇Perhaps the hottest new feature, Queues introduces a

https://blog.2minutestreaming.com/p/apache-kafka-4-0-releaseЧто касается изменений в 4.0 у Кафки (релиз состоялся), уход на покой Zookeeper не самый горячий пирожочек.А вот это - да.KIP-932: Queues (EA) 🚇Perhaps the hottest new feature, Queues introduces a new type of consumer group - the Share Consumer - that gives you queue-like semantics:1. per-message acknowledgement/retries 2. ability to have many consumers collaboratively share progress reading from the same partition (previously, only one consumer per consumer group could read a partition at any time)@ohmydataengineer - канал "🕯Труба Данных"

3 days, 1 hour назад @ t.me
ZooKeeper DeprecationWith the release of Apache Kafka 3.5, Zookeeper is now marked deprecated. Removal of ZooKeeper is planned in the next major release of Apache Kafka (version 4.0), which is scheduled to happen no sooner than April 2024. During the depre
ZooKeeper DeprecationWith the release of Apache Kafka 3.5, Zookeeper is now marked deprecated. Removal of ZooKeeper is planned in the next major release of Apache Kafka (version 4.0), which is scheduled to happen no sooner than April 2024. During the depre ZooKeeper DeprecationWith the release of Apache Kafka 3.5, Zookeeper is now marked deprecated. Removal of ZooKeeper is planned in the next major release of Apache Kafka (version 4.0), which is scheduled to happen no sooner than April 2024. During the depre

ZooKeeper DeprecationWith the release of Apache Kafka 3.5, Zookeeper is now marked deprecated. Removal of ZooKeeper is planned in the next major release of Apache Kafka (version 4.0), which is scheduled to happen no sooner than April 2024. During the deprecation phase, ZooKeeper is still supported for metadata management of Kafka clusters, but it is not recommended for new deployments.Пересаживаемся на KRaft. И слава богу. https://kafka.apache.org/documentation/#kraftP.S. Зукипер был главнюком 14(!!) лет в деплойментах Кафки.@ohmydataengineer - канал "🕯Труба Данных" никогда не любил зукипер!

5 days, 18 hours назад @ t.me
@ohmydataengineer - канал "🕯Труба Данных" и очередной пятничный юмор!
@ohmydataengineer - канал "🕯Труба Данных" и очередной пятничный юмор! @ohmydataengineer - канал "🕯Труба Данных" и очередной пятничный юмор!

@ohmydataengineer - канал "🕯Труба Данных" и очередной пятничный юмор!

1 week, 2 days назад @ t.me
https://arrow.apache.org/blog/2025/01/10/arrow-result-transfer/. и https://arrow.apache.org/blog/2025/02/28/data-wants-to-be-free/Хорошая парочка технических статей (и будет потом еще несколько) про Apache Arrow и вообще как оно там под капотом.@ohmydataen
https://arrow.apache.org/blog/2025/01/10/arrow-result-transfer/. и https://arrow.apache.org/blog/2025/02/28/data-wants-to-be-free/Хорошая парочка технических статей (и будет потом еще несколько) про Apache Arrow и вообще как оно там под капотом.@ohmydataen

https://arrow.apache.org/blog/2025/01/10/arrow-result-transfer/. и https://arrow.apache.org/blog/2025/02/28/data-wants-to-be-free/Хорошая парочка технических статей (и будет потом еще несколько) про Apache Arrow и вообще как оно там под капотом.@ohmydataengineer - канал "🕯Труба Данных" про Apache, но не Airflow!

1 week, 6 days назад @ t.me
https://github.com/deepseek-ai/smallpondТам из каждого утюга уже написали про новый фреймворк который использовал DeepSeek для себя, где они сделали мультинодовый DuckDB и какие-то фантастические цифры якобы показали по обработке (https://github.com/deepse
https://github.com/deepseek-ai/smallpondТам из каждого утюга уже написали про новый фреймворк который использовал DeepSeek для себя, где они сделали мультинодовый DuckDB и какие-то фантастические цифры якобы показали по обработке (https://github.com/deepse

https://github.com/deepseek-ai/smallpondТам из каждого утюга уже написали про новый фреймворк который использовал DeepSeek для себя, где они сделали мультинодовый DuckDB и какие-то фантастические цифры якобы показали по обработке (https://github.com/deepseek-ai/3FS?tab=readme-ov-file#2-graysort)Ну и я тоже напишу об этом 😁@ohmydataengineer - канал "🕯Труба Данных" почти вовремя пишет новости!

2 weeks, 1 day назад @ t.me
Это что за новый зверь?Были Data Engineers, потом MDS популяризировал лычку Analytics Engineer. А это что за зверь?https://efds.fa.em5.oraclecloud.com/hcmUI/CandidateExperience/en/sites/CX_1/job/42523@ohmydataengineer - канал "🕯Труба Данных" говорит об Dat
Это что за новый зверь?Были Data Engineers, потом MDS популяризировал лычку Analytics Engineer. А это что за зверь?https://efds.fa.em5.oraclecloud.com/hcmUI/CandidateExperience/en/sites/CX_1/job/42523@ohmydataengineer - канал "🕯Труба Данных" говорит об Dat Это что за новый зверь?Были Data Engineers, потом MDS популяризировал лычку Analytics Engineer. А это что за зверь?https://efds.fa.em5.oraclecloud.com/hcmUI/CandidateExperience/en/sites/CX_1/job/42523@ohmydataengineer - канал "🕯Труба Данных" говорит об Dat

Это что за новый зверь?Были Data Engineers, потом MDS популяризировал лычку Analytics Engineer. А это что за зверь?https://efds.fa.em5.oraclecloud.com/hcmUI/CandidateExperience/en/sites/CX_1/job/42523@ohmydataengineer - канал "🕯Труба Данных" говорит об Data Software Developers!

2 weeks, 2 days назад @ t.me
Мы выяснили много классных инсайтов, например:👉 Главные выводы👉 Какие задачи решают аналитики👉 Что с релокацией у аналитиков👉 Где работают и как работают (удалёнка/офис)👉 ЗАРПЛАТЫ: как менялись за год и сколько получают аналитики + мы дополнили исследовани
Мы выяснили много классных инсайтов, например:👉 Главные выводы👉 Какие задачи решают аналитики👉 Что с релокацией у аналитиков👉 Где работают и как работают (удалёнка/офис)👉 ЗАРПЛАТЫ: как менялись за год и сколько получают аналитики + мы дополнили исследовани

Мы выяснили много классных инсайтов, например:👉 Главные выводы👉 Какие задачи решают аналитики👉 Что с релокацией у аналитиков👉 Где работают и как работают (удалёнка/офис)👉 ЗАРПЛАТЫ: как менялись за год и сколько получают аналитики + мы дополнили исследование нашей экспертизой: что повышает или снижает стоимость аналитиков 👉 Откуда пришли в профессию и куда идут дальше👉 Как ищут работу👉 ТОП и Анти-ТОП компаний для аналитиков👉 Что ценят в аналитической культуре👉 Каких экспертов котируют и за кем следятВот такое вот большое исследование у NewHR вышло по аналитикам данных, которое я когда-то вас давно просил помочь заполнить.▶️ Ссылка на сайт с полными результатамиhttps://newhr.org/data/research…

2 weeks, 2 days назад @ t.me
https://newsletter.pragmaticengineer.com/p/trimodalОбновленная версия той самой известной статьи про три-модальную категоризацию компаний и зарплат в них.Теперь дополнена данными из levels.fyiОгромное и наглядное чтиво!@ohmydataengineer - канал "🕯Труба Дан
https://newsletter.pragmaticengineer.com/p/trimodalОбновленная версия той самой известной статьи про три-модальную категоризацию компаний и зарплат в них.Теперь дополнена данными из levels.fyiОгромное и наглядное чтиво!@ohmydataengineer - канал "🕯Труба Дан

https://newsletter.pragmaticengineer.com/p/trimodalОбновленная версия той самой известной статьи про три-модальную категоризацию компаний и зарплат в них.Теперь дополнена данными из levels.fyiОгромное и наглядное чтиво!@ohmydataengineer - канал "🕯Труба Данных" подсказывает про зарплаты!

2 weeks, 4 days назад @ t.me
https://debezium.io/blog/2025/02/01/real-time-data-replication-with-debezium-and-python/Говорим Debezium, подразумеваем Kafka как точка, в которую у нас льются эвенты CDC. Казалось бы, самое стандартное и классическое решение, проверенное сотнями разных се
https://debezium.io/blog/2025/02/01/real-time-data-replication-with-debezium-and-python/Говорим Debezium, подразумеваем Kafka как точка, в которую у нас льются эвенты CDC. Казалось бы, самое стандартное и классическое решение, проверенное сотнями разных се

https://debezium.io/blog/2025/02/01/real-time-data-replication-with-debezium-and-python/Говорим Debezium, подразумеваем Kafka как точка, в которую у нас льются эвенты CDC. Казалось бы, самое стандартное и классическое решение, проверенное сотнями разных сетапов.А вот нет, оказывается можно и без Kafka.Debezium + CDC + Python + dlt → Real-time PostgreSQL replication@ohmydataengineer - канал "🕯Труба Данных" удивлен новым подходам!

2 weeks, 6 days назад @ t.me
Жаба, гадюка, литкод...Следите за руками:- Челик сделал тулзу, чтобы хакать литкод интервью (на самом деле таких много уже, отличаются подходами, где-то опираются на голос и распознавание речи, где-то на видео-поток или скриншоты)- Прошел с ее помощью в Ам
Жаба, гадюка, литкод...Следите за руками:- Челик сделал тулзу, чтобы хакать литкод интервью (на самом деле таких много уже, отличаются подходами, где-то опираются на голос и распознавание речи, где-то на видео-поток или скриншоты)- Прошел с ее помощью в Ам Жаба, гадюка, литкод...Следите за руками:- Челик сделал тулзу, чтобы хакать литкод интервью (на самом деле таких много уже, отличаются подходами, где-то опираются на голос и распознавание речи, где-то на видео-поток или скриншоты)- Прошел с ее помощью в Ам

Жаба, гадюка, литкод...Следите за руками:- Челик сделал тулзу, чтобы хакать литкод интервью (на самом деле таких много уже, отличаются подходами, где-то опираются на голос и распознавание речи, где-то на видео-поток или скриншоты)- Прошел с ее помощью в Амазон, снял всё на видео и выложил в Ютуб. - Амазон обиделся и требует отчисления чувака из универаСсылку на конкретно эту тулзу увидите на скриншоте.Еще пара похожих: ParakeetAI и Final Round AIЧто с этим делать - решать вам =)А еще…https://x.com/im_roy_lee/status/1895726775185129555Правда чел говорит, что получил еще кучку офферов, но не планирует ни один принимать и вообще планировал это все давно и литкод интервью это зло. И так как ист…

3 weeks назад @ t.me
@ohmydataengineer - канал "🕯Труба Данных" и Вьетнамские флешбеки!
@ohmydataengineer - канал "🕯Труба Данных" и Вьетнамские флешбеки! @ohmydataengineer - канал "🕯Труба Данных" и Вьетнамские флешбеки!

@ohmydataengineer - канал "🕯Труба Данных" и Вьетнамские флешбеки!

3 weeks, 2 days назад @ t.me
https://www.sqlnoir.comПрикольный интерактив по изучению SQL - вы детектив и расследуете криминальные дела.У вас есть датасет и возможность делать к нему запросы.
https://www.sqlnoir.comПрикольный интерактив по изучению SQL - вы детектив и расследуете криминальные дела.У вас есть датасет и возможность делать к нему запросы.

https://www.sqlnoir.comПрикольный интерактив по изучению SQL - вы детектив и расследуете криминальные дела.У вас есть датасет и возможность делать к нему запросы.

4 weeks, 1 day назад @ t.me
@ohmydataengineer - канал "🕯Труба Данных" видел всякое дерьмо опытный!
@ohmydataengineer - канал "🕯Труба Данных" видел всякое дерьмо опытный! @ohmydataengineer - канал "🕯Труба Данных" видел всякое дерьмо опытный!

@ohmydataengineer - канал "🕯Труба Данных" видел всякое дерьмо опытный!

1 month назад @ t.me
https://github.com/sinaptik-ai/pandas-aiУдивительная вещь, которая прошла мимо меня (а существует аж с апреля 2023 года)Pandas + LLM + BI в одной опенсорс коробке, главное датасет отдай нормальный!🙂@ohmydataengineer - канал "🕯Труба Данных" немного меньше н
https://github.com/sinaptik-ai/pandas-aiУдивительная вещь, которая прошла мимо меня (а существует аж с апреля 2023 года)Pandas + LLM + BI в одной опенсорс коробке, главное датасет отдай нормальный!🙂@ohmydataengineer - канал "🕯Труба Данных" немного меньше н https://github.com/sinaptik-ai/pandas-aiУдивительная вещь, которая прошла мимо меня (а существует аж с апреля 2023 года)Pandas + LLM + BI в одной опенсорс коробке, главное датасет отдай нормальный!🙂@ohmydataengineer - канал "🕯Труба Данных" немного меньше н

https://github.com/sinaptik-ai/pandas-aiУдивительная вещь, которая прошла мимо меня (а существует аж с апреля 2023 года)Pandas + LLM + BI в одной опенсорс коробке, главное датасет отдай нормальный!🙂@ohmydataengineer - канал "🕯Труба Данных" немного меньше недолюбливает Pandas

1 month назад @ t.me
enthusiastech enthusiastech
последний пост None
data будни data будни
последний пост 4 weeks назад
🤑 yet another zarplatyклассный пример коллаборации: Саша Варламов собрал парсер и визуализациюhttps://t.me/data_bar/60а Никита это дело автоматизировал https://t.me/joni_in_web/21в результате получаем работающий проект и возможность посмотреть живую аналит
🤑 yet another zarplatyклассный пример коллаборации: Саша Варламов собрал парсер и визуализациюhttps://t.me/data_bar/60а Никита это дело автоматизировал https://t.me/joni_in_web/21в результате получаем работающий проект и возможность посмотреть живую аналит 🤑 yet another zarplatyклассный пример коллаборации: Саша Варламов собрал парсер и визуализациюhttps://t.me/data_bar/60а Никита это дело автоматизировал https://t.me/joni_in_web/21в результате получаем работающий проект и возможность посмотреть живую аналит

🤑 yet another zarplatyклассный пример коллаборации: Саша Варламов собрал парсер и визуализациюhttps://t.me/data_bar/60а Никита это дело автоматизировал https://t.me/joni_in_web/21в результате получаем работающий проект и возможность посмотреть живую аналитику зарплат — на скрин вынес кусочек деша с фильтром по аналитике.что мне нравится в подобных проектах: 1. проактивность — сам придумал, сам спроектировал, сам затащил, сам отчитался в блог 2. коллаборация — организоваться вдвоём гораздо сложнее, чем сделать одному, но эффект может быть круче 3. полезность, направленная наружу: когда решал свою задачу, а польза — всемв общем, смотрите деш и ставьте лайки Саше с Никитой)

4 weeks назад @ t.me
🦆 прилетят орлы и поднимут продкогда в работе встречаю какую-то проблему, то первым делом хочется написать в командный чатик, типа «ребята, там на дисках место заканчивается» со стороны это читается как «там на дисках место заканчивается … кто-нибудь сдела
🦆 прилетят орлы и поднимут продкогда в работе встречаю какую-то проблему, то первым делом хочется написать в командный чатик, типа «ребята, там на дисках место заканчивается» со стороны это читается как «там на дисках место заканчивается … кто-нибудь сдела

🦆 прилетят орлы и поднимут продкогда в работе встречаю какую-то проблему, то первым делом хочется написать в командный чатик, типа «ребята, там на дисках место заканчивается» со стороны это читается как «там на дисках место заканчивается … кто-нибудь сделайте что-нибудь!»получается, что я привлекаю внимание всех коллег к проблеме и тогда один из коллег (кстати, кто?) должен оторваться от своего текущего контекста и пойти расследовать эту проблему, потратить своё время и внимание, и найти причину и потенциальное решениено если я уже видел проблему, почему бы самому не посмотреть глубже, потратить какое-то время на расследование и прикинуть варианты решений. и в результате прийти в чатик уже …

1 month назад @ t.me
2/2в общем, много чего для нужд аналитики в удб уже есть, но чего там нет — надо додумывать самому)из озвученного — нет поддержки триггеров и хранимых процедур. плюс конечно как у любого нового инструмента нет такого богатого набора аддонов и инструментов
2/2в общем, много чего для нужд аналитики в удб уже есть, но чего там нет — надо додумывать самому)из озвученного — нет поддержки триггеров и хранимых процедур. плюс конечно как у любого нового инструмента нет такого богатого набора аддонов и инструментов

2/2в общем, много чего для нужд аналитики в удб уже есть, но чего там нет — надо додумывать самому)из озвученного — нет поддержки триггеров и хранимых процедур. плюс конечно как у любого нового инструмента нет такого богатого набора аддонов и инструментов как у того же постгреса, то же относиться и к коммьюнити.плюс в документации есть отдельная сноска чего пока нет в колоночных таблицах> В настоящий момент реализована не вся функциональность колоночных таблицhttps://ясубд.рф/docs/ru/concepts/datamodel/table.html#column-oriented-tables(надеюсь, документация просто чуток отстаёт от новых фич)⌘⌘⌘в теории звучит хорошо — один инструмент лучше, чем пять разных (при прочих равных)если задачи пос…

1 month назад @ t.me
📦 YDB + OLAP = ?ydb — это отлп-база данных от Яндекса. основная характеристика — нативная распределённость с поддержкой транзакции. из свойства распределённости следует высокая доступность и гибкая масштабируемость. помимо олтп-базы там есть ещё такая сущн
📦 YDB + OLAP = ?ydb — это отлп-база данных от Яндекса. основная характеристика — нативная распределённость с поддержкой транзакции. из свойства распределённости следует высокая доступность и гибкая масштабируемость. помимо олтп-базы там есть ещё такая сущн

📦 YDB + OLAP = ?ydb — это отлп-база данных от Яндекса. основная характеристика — нативная распределённость с поддержкой транзакции. из свойства распределённости следует высокая доступность и гибкая масштабируемость. помимо олтп-базы там есть ещё такая сущность как топики, с кафка-совместимым апи.и вот недавно ребята объявили, что ещё они идут в сторону олап-нагрузки. собирая эдакую всё-в-одном базу: с одной стороны у вас сервисы, с другой аналитика, а между ними нативный сдс-процесс, прямо не выходя из контура бд. https://yandex.cloud/ru/blog/posts/2024/12/ydb-dwh⌘⌘⌘интересно посмотреть со стороны аналитики и нашего двх-мира.→ очереди настраиваются через SQL-команды (кажется, в кликхаусе мо…

1 month назад @ t.me
🗿 подкасты про карьеру специально для постоянной читательницы этого блога — Натальи — ни к чему не обязывающая подборка подкастов на тему карьеры, её смены и всякого такого >_>подкасты хороши тем, что можно слушать на фоне, удобно чтобы ненапряжно на
🗿 подкасты про карьеру специально для постоянной читательницы этого блога — Натальи — ни к чему не обязывающая подборка подкастов на тему карьеры, её смены и всякого такого >_>подкасты хороши тем, что можно слушать на фоне, удобно чтобы ненапряжно на

🗿 подкасты про карьеру специально для постоянной читательницы этого блога — Натальи — ни к чему не обязывающая подборка подкастов на тему карьеры, её смены и всякого такого >_>подкасты хороши тем, что можно слушать на фоне, удобно чтобы ненапряжно набраться чужого опыта. пока остальные процессы ещё только готовятся или обдумываются⌘⌘⌘первым делом, конечно, стоит упомянуть про подкаст «собес» — в последнем сезоне они делают эпизоды в формате мок-собесов. это когда реальный рекрутер под реальную вакансию собесит кандидата прямо в эфире, а потом дают обратную связь и говорят что можно подкрутить. на своём опыте ощутил, что полезно послушать со стороны как звучит все эти привычные фразы и что и…

1 month назад @ t.me
так! пора поговорить о действительно важных вещах, о которых почему-то все молчат — об оптимизации процесса загрузки посудомоечной машинычто же там оптимизировать, спросите вы? сейчас расскажу: ⁃ есть куча грязной посуды в раковине ⁃ надо её загрузить в п
так! пора поговорить о действительно важных вещах, о которых почему-то все молчат — об оптимизации процесса загрузки посудомоечной машинычто же там оптимизировать, спросите вы? сейчас расскажу: ⁃ есть куча грязной посуды в раковине ⁃ надо её загрузить в п

так! пора поговорить о действительно важных вещах, о которых почему-то все молчат — об оптимизации процесса загрузки посудомоечной машинычто же там оптимизировать, спросите вы? сейчас расскажу: ⁃ есть куча грязной посуды в раковине ⁃ надо её загрузить в посудомойку ⁃ чтобы всё влезло ⁃ и чтобы всё промылосьвот мы всё загрузили, оно помылось, настал финальный этап — разгрузка посуды и её раскладка по своим местам в ящиках и шкафах. и вот тут всплывает ещё одно — неявное — требование к процессу: упорядочивание. ведь (когда они не в мойке и не в раковине) вилки живут с вилками, ложки — с ложками; глубокие тарелки с одной стороны, отдельно от плоских. у кастрюль и плошек тоже есть свои места.и …

1 month, 1 week назад @ t.me
🏦 новый_план(2)_finalв 2021 у меня был план, который потом пришлось спешно править и вот спустя всего год снова пришлось пере-пере-придумывать план.в шведской Кларне нотис-период был два месяца, было время подумать-подготовиться. исходный план был максимал
🏦 новый_план(2)_finalв 2021 у меня был план, который потом пришлось спешно править и вот спустя всего год снова пришлось пере-пере-придумывать план.в шведской Кларне нотис-период был два месяца, было время подумать-подготовиться. исходный план был максимал

🏦 новый_план(2)_finalв 2021 у меня был план, который потом пришлось спешно править и вот спустя всего год снова пришлось пере-пере-придумывать план.в шведской Кларне нотис-период был два месяца, было время подумать-подготовиться. исходный план был максимальной широкий: «посмотреть всех» — включая иностранные компании.сперва готовился, искал зарубежом (чтобы работать из рф), но в итоге сузил поиск до стандартного варианта — находиться в Москве и работать на местную компанию.конечно, сразу в голове был вариант с Яндексом — благо для бывших сотрудников есть опция фаст-трека, и (ожидаемо) некоторое количество людей, готовых поработать вместе или же посоветовать таких.но я решил воспользоваться …

1 month, 2 weeks назад @ t.me
😭 как я не прошёл «собес» в ABBYсходил на подкаст к Кире Кузьменко, поговорили в формате мок-интервьюhttps://t.me/kirafound/1861ещё год назад я бы точно не рискнул публично собеситься — да ну его! но в последнее время стал спокойнее ко всему относиться: да
😭 как я не прошёл «собес» в ABBYсходил на подкаст к Кире Кузьменко, поговорили в формате мок-интервьюhttps://t.me/kirafound/1861ещё год назад я бы точно не рискнул публично собеситься — да ну его! но в последнее время стал спокойнее ко всему относиться: да

😭 как я не прошёл «собес» в ABBYсходил на подкаст к Кире Кузьменко, поговорили в формате мок-интервьюhttps://t.me/kirafound/1861ещё год назад я бы точно не рискнул публично собеситься — да ну его! но в последнее время стал спокойнее ко всему относиться: даже «отказ» это тоже новый опыт. тем более в этом случае была полезная обратная связь от Киры и Татьяны.было интересно поговорить и ещё более интересно узнать «как надо».→ главный вывод, который я для себя сделал — надо готовиться к собесам (ваш кэп!) и хотя бы гуглить непонятные слова из вакансии. по своим другим вакансиям я обычно знал ключевые технологии и их особенности, но конкретная эта вакансия была чуть в стороне: про обработку данн…

4 months, 1 week назад @ t.me
⚖️ собесы: дисбаланс за столомбывало на собесе сижу-пыхчу над задачкой, отбрасывая варианты один за другим, в итоге в муках порождаешь вроде-ничего-такое решение… только для того, чтобы интервьюер на той стороне нашёл там несколько критичных багов, и не ос
⚖️ собесы: дисбаланс за столомбывало на собесе сижу-пыхчу над задачкой, отбрасывая варианты один за другим, в итоге в муках порождаешь вроде-ничего-такое решение… только для того, чтобы интервьюер на той стороне нашёл там несколько критичных багов, и не ос

⚖️ собесы: дисбаланс за столомбывало на собесе сижу-пыхчу над задачкой, отбрасывая варианты один за другим, в итоге в муках порождаешь вроде-ничего-такое решение… только для того, чтобы интервьюер на той стороне нашёл там несколько критичных багов, и не особо запариваясь при этом. в такие моменты я чувствовал себя совсем тупым. ну или как минимум тупее интервьюера (а значит, тупее среднего сотрудника целевой компании!) 🤦‍♂️и хотя интервьюер действительно может быть умнее собеседуемого, в конечном итоге в этом вся идея: лиды собесят к себе в команду, синьоры собесят миддлов и т.д.; всё-таки не стоит забывать что человек на той стороне скорее всего проводит не первый собес, а значит уже набил…

4 months, 1 week назад @ t.me
🦖 как вытаскивали динозавра в опенсорскаджый яндексоид знаком с «ытём» — система хранения данных с sql-подобным доступом. я бы сказал, что YT находится в центре всех процессов яндекса, которые завязаны на анализ данных (это получается, практически всех?)(н
🦖 как вытаскивали динозавра в опенсорскаджый яндексоид знаком с «ытём» — система хранения данных с sql-подобным доступом. я бы сказал, что YT находится в центре всех процессов яндекса, которые завязаны на анализ данных (это получается, практически всех?)(н

🦖 как вытаскивали динозавра в опенсорскаджый яндексоид знаком с «ытём» — система хранения данных с sql-подобным доступом. я бы сказал, что YT находится в центре всех процессов яндекса, которые завязаны на анализ данных (это получается, практически всех?)(недавно осознал, насколько это внушительный буст для команды, когда у тебя по дефолту уже есть данные в нужном месте и доступная инфра, чтобы быстро начать ими пользоваться)а с не давних пор, посмотреть на этого дивного зверя могут все желающие — теперь YTsaurus доступен в опенсорс. ↓ доклад с прошлогоднего хайлоада с отчётом и рефлексией команды по итогам первой фазы этого эпического движа (да-да, с офф. релизом работа только началась))⌘ о…

4 months, 3 weeks назад @ t.me
🤑 как я искал валютную удалёнкукогда я понял (ещё будучи в Стокгольме), что где-то осенью уже точно буду менять работу, я начал прикидывать варианты.на тот момент (и с той стороны границы) самым выгодным казался вариант «валютной удалёнки»: когда платят в
🤑 как я искал валютную удалёнкукогда я понял (ещё будучи в Стокгольме), что где-то осенью уже точно буду менять работу, я начал прикидывать варианты.на тот момент (и с той стороны границы) самым выгодным казался вариант «валютной удалёнки»: когда платят в

🤑 как я искал валютную удалёнкукогда я понял (ещё будучи в Стокгольме), что где-то осенью уже точно буду менять работу, я начал прикидывать варианты.на тот момент (и с той стороны границы) самым выгодным казался вариант «валютной удалёнки»: когда платят в валюте европейского уровня зарплату, а я сам буду попивать смузи у себя в Москве. в уме я рисовал себе картину как буду получать на руки 5-7к долларов хе-хе-хеда, схема подразумевает, что у меня будет открыто грузинское или армянское ип, куда будут переводить оклад. насколько я понимаю налоги там что-то порядка 1% и открыть можно условно за несколько дней пребывания на месте. звучит несложно и вполне легально.⌘я начал искать вакансии, откл…

4 months, 3 weeks назад @ t.me
за время своей безработности я поговорил-познакомился с десятком компаний: посмотрел как там устроен процесс собесов, как общается команда на встречах, что за стэк используют и какие планы у команды.среди всех начатых процессов мне запоминалась команда Куп
за время своей безработности я поговорил-познакомился с десятком компаний: посмотрел как там устроен процесс собесов, как общается команда на встречах, что за стэк используют и какие планы у команды.среди всех начатых процессов мне запоминалась команда Куп

за время своей безработности я поговорил-познакомился с десятком компаний: посмотрел как там устроен процесс собесов, как общается команда на встречах, что за стэк используют и какие планы у команды.среди всех начатых процессов мне запоминалась команда Купера (они же Sbermarket до июня 2024, а ещё раньше это был Instamart)начнём с того, что это был самый быстрый процесс: обратная связь после каждой встречи буквально на следующий день и минимальный интервал между встречами. можно считать, что зачёт на отсутствие бюрократии получен «автоматом».сам процесс был тоже без лишних этапов — быстрый скрининг и две секции: поговорить по душам за технику и потом за твой опыт и мотивациюв целом осталось…

4 months, 3 weeks назад @ t.me
🤓 подгтовка к собесам: список техвопросов в мой прошлый заход по поиску работы я исходил из довольно наивного подхода: вот я такой красивый работу работаю, по пути что-то узнаю новое, вот это и буду отвечать на собесах! если чего-то не знаю, то так тому и
🤓 подгтовка к собесам: список техвопросов в мой прошлый заход по поиску работы я исходил из довольно наивного подхода: вот я такой красивый работу работаю, по пути что-то узнаю новое, вот это и буду отвечать на собесах! если чего-то не знаю, то так тому и

🤓 подгтовка к собесам: список техвопросов в мой прошлый заход по поиску работы я исходил из довольно наивного подхода: вот я такой красивый работу работаю, по пути что-то узнаю новое, вот это и буду отвечать на собесах! если чего-то не знаю, то так тому и быть; типа за два часа не стану профи во всех вопросах.в итоге на интервью на вопрос «какую базу выберешь под задачу» отвечал «хехехе, постгрес!». и хотя по всё нарастающей универсальности последнего ещё можно было бы дожать ответ, если бы я был наглее и увереннее; но по факту интервьюеры прекрасно понимали по ответу, что других баз я просто не в курсе.в этот раз я решил подготовиться заранее: сделать список потенциальных тем, которые обыч…

4 months, 3 weeks назад @ t.me
👋 Саша Михайлов, безработныйпочти год назад я писал, как устроился в шведский финтех Klarna и уехал жить в Стокгольм. Раз уж написал начало истории, напишу и её окончание 😭что же случилось? не прошел перфоманс ревью? очередные лейоффы? Кларна закрылась? вс
👋 Саша Михайлов, безработныйпочти год назад я писал, как устроился в шведский финтех Klarna и уехал жить в Стокгольм. Раз уж написал начало истории, напишу и её окончание 😭что же случилось? не прошел перфоманс ревью? очередные лейоффы? Кларна закрылась? вс

👋 Саша Михайлов, безработныйпочти год назад я писал, как устроился в шведский финтех Klarna и уехал жить в Стокгольм. Раз уж написал начало истории, напишу и её окончание 😭что же случилось? не прошел перфоманс ревью? очередные лейоффы? Кларна закрылась? всё гораздо проще: семья не прижилась в новой стране и мы решили вернуться назадне зря говорят, что основная сложность при эмиграции приходится именно на плюсодинов. В отличие от супруги, у меня был и клёвый офис, куда можно было ходить, и живые люди с кем можно было пообщаться за жизнь; поэтому мне было гораздо проще адаптироваться и в целом я чувствовал себя на своём месте.в итоге семья уехала «на лето к бабушкам на родину», откуда потом р…

5 months назад @ t.me
🥴 Reverse ETL — антипаттерн или норм?у меня тут недавно наконец-то сложилась картинка в голове! до этого краем уха слышал этот новый термин, но никак не мог переложить его на реальность. А потом увидел схемку где помимо стандартного направления источник →
🥴 Reverse ETL — антипаттерн или норм?у меня тут недавно наконец-то сложилась картинка в голове! до этого краем уха слышал этот новый термин, но никак не мог переложить его на реальность. А потом увидел схемку где помимо стандартного направления источник →

🥴 Reverse ETL — антипаттерн или норм?у меня тут недавно наконец-то сложилась картинка в голове! до этого краем уха слышал этот новый термин, но никак не мог переложить его на реальность. А потом увидел схемку где помимо стандартного направления источник → двхбыла дополнительная стрелочка:источник → двх → (обратно) источник в итоге понял, что видел уже два таких кейса и пока ощущения смешанные:1) считать бонусы определённому срезу сотрудников. был кейс когда ставка зависит от количества и статуса лидов например (или других штук, которые можно посчитать только в двх)2) сейчас есть задача передавать данные между микросервисами (разные команды): микросервис А производит данные, их сгружаем в ДВ…

7 months, 2 weeks назад @ t.me
под капотом Яндекс.Такси под капотом Яндекс.Такси
последний пост None
🎧 Podcasts
Data Engineering Podcast Data Engineering Podcast
последний пост 8 months, 3 weeks назад
Improve Data Quality Through Engineering Rigor And Business Engagement With Synq
Improve Data Quality Through Engineering Rigor And Business Engagement With Synq

Summary

This episode features an insightful conversation with Petr Janda, the CEO and founder of Synq. Petr shares his journey from being an engineer to founding Synq, emphasizing the importance of treating data systems with the same rigor as engineering systems. He discusses the challenges and solutions in data reliability, including the need for transparency and ownership in data systems. Synq's platform helps data teams manage incidents, understand data dependencies, and ensure data quality by providing insights and automation capabilities. Petr emphasizes the need for a holistic approach to data reliability, integrating data systems into broader business processes. He highlights the rol…

8 months, 3 weeks назад @ dataengineeringpodcast.com
Stitching Together Enterprise Analytics With Microsoft Fabric
Stitching Together Enterprise Analytics With Microsoft Fabric

Summary

Data lakehouse architectures have been gaining significant adoption. To accelerate adoption in the enterprise Microsoft has created the Fabric platform, based on their OneLake architecture. In this episode Dipti Borkar shares her experiences working on the product team at Fabric and explains the various use cases for the Fabric service.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Data lakes are notoriously complex. For data engineers who battle to build and scale high quality data workflows on the data lake, Starburst is an end-to-end data lakehouse platform built on Trino, the query engine Apache Iceberg was designed for, w…

9 months назад @ dataengineeringpodcast.com
Being Data Driven At Stripe With Trino And Iceberg
Being Data Driven At Stripe With Trino And Iceberg

Summary

Stripe is a company that relies on data to power their products and business. To support that functionality they have invested in Trino and Iceberg for their analytical workloads. In this episode Kevin Liu shares some of the interesting features that they have built by combining those technologies, as well as the challenges that they face in supporting the myriad workloads that are thrown at this layer of their data platform.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Data lakes are notoriously complex. For data engineers who battle to build and scale high quality data workflows on the data lake, Starburst is an end-to-end …

9 months, 1 week назад @ dataengineeringpodcast.com
X-Ray Vision For Your Flink Stream Processing With Datorios
X-Ray Vision For Your Flink Stream Processing With Datorios

Summary

Streaming data processing enables new categories of data products and analytics. Unfortunately, reasoning about stream processing engines is complex and lacks sufficient tooling. To address this shortcoming Datorios created an observability platform for Flink that brings visibility to the internals of this popular stream processing system. In this episode Ronen Korman and Stav Elkayam discuss how the increased understanding provided by purpose built observability improves the usefulness of Flink.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

This episode is supported by Code Comments, an original podcast from Red Hat. As someo…

9 months, 2 weeks назад @ dataengineeringpodcast.com
Practical First Steps In Data Governance For Long Term Success
Practical First Steps In Data Governance For Long Term Success

Summary

Modern businesses aspire to be data driven, and technologists enjoy working through the challenge of building data systems to support that goal. Data governance is the binding force between these two parts of the organization. Nicola Askham found her way into data governance by accident, and stayed because of the benefit that she was able to provide by serving as a bridge between the technology and business. In this episode she shares the practical steps to implementing a data governance practice in your organization, and the pitfalls to avoid.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Data lakes are notoriously complex. F…

9 months, 3 weeks назад @ dataengineeringpodcast.com
Data Brew by Databricks
последний пост 2 days, 18 hours назад
Reward Models | |E40
Reward Models | |E40 Reward Models | |E40

In this episode, Brandon Cui, Research Scientist at MosaicML and Databricks, dives into cutting-edge advancements in AI model optimization, focusing on Reward Models and Reinforcement Learning from Human Feedback (RLHF). Highlights include: - How synthetic data and RLHF enable fine-tuning models to generate preferred outcomes. - Techniques like Policy Proximal Optimization (PPO) and Direct Preference Optimization (DPO) for enhancing response quality. - The role of reward models in improving ...

2 days, 18 hours назад @ buzzsprout.com
Retrieval, rerankers, and RAG tips and tricks | |E39
Retrieval, rerankers, and RAG tips and tricks | |E39 Retrieval, rerankers, and RAG tips and tricks | |E39

In this episode, Andrew Drozdov, Research Scientist at Databricks, explores how Retrieval Augmented Generation (RAG) enhances AI models by integrating retrieval capabilities for improved response accuracy and relevance. Highlights include: - Addressing LLM limitations by injecting relevant external information. - Optimizing document chunking, embedding, and query generation for RAG. - Improving retrieval systems with embeddings and fine-tuning techniques. - Enhancing search results using re-...

1 month назад @ buzzsprout.com
The Power of Synthetic Data | |E38
The Power of Synthetic Data | |E38 The Power of Synthetic Data | |E38

In this episode, Yev Meyer, Chief Scientist at Gretel AI, explores how synthetic data transforms AI and ML by improving data access, quality, privacy, and model training. Highlights include: - Leveraging synthetic data to overcome AI data limitations. - Enhancing model training while mitigating ethical and privacy risks. - Exploring the intersection of computational neuroscience and AI workflows. - Addressing licensing and legal considerations in synthetic data usage. - Unlocking private dat...

1 month, 2 weeks назад @ buzzsprout.com
Secret to Production AI: Tools & Infrastructure | |E37
Secret to Production AI: Tools & Infrastructure | |E37 Secret to Production AI: Tools & Infrastructure | |E37

In this episode, Julia Neagu, CEO & co-founder of Quotient AI, explores the challenges of deploying Generative AI and LLMs, focusing on model evaluation, human-in-the-loop systems, and iterative development.Highlights include:- Merging reinforcement learning and unsupervised learning for real-time AI optimization.- Reducing bias in machine learning with fairness and ethical considerations.- Lessons from large-scale AI deployments on scalability and feedback loops.- Automating workflows wi...

1 month, 4 weeks назад @ buzzsprout.com
Mixture of Memory Experts (MoME) | |E36
Mixture of Memory Experts (MoME) | |E36 Mixture of Memory Experts (MoME) | |E36

In this episode, Sharon Zhou, Co-Founder and CEO of Lamini AI, shares her expertise in the world of AI, focusing on fine-tuning models for improved performance and reliability.Highlights include:- The integration of determinism and probabilism for handling unstructured data and user queries effectively.- Proprietary techniques like memory tuning and robust evaluation frameworks to mitigate model inaccuracies and hallucinations.- Lessons learned from deploying AI applications, including insigh...

2 months, 1 week назад @ buzzsprout.com
Mixed Attention | |E34
Mixed Attention | |E34 Mixed Attention | |E34

In this episode, Shashank Rajput, Research Scientist at Mosaic and Databricks, explores innovative approaches in large language models (LLMs), with a focus on Retrieval Augmented Generation (RAG) and its impact on improving efficiency and reducing operational costs.Highlights include:- How RAG enhances LLM accuracy by incorporating relevant external documents.- The evolution of attention mechanisms, including mixed attention strategies.- Practical applications of Mamba architectures and their...

4 months назад @ buzzsprout.com
Kumo AI & Relational Deep Learning | |E34
Kumo AI & Relational Deep Learning | |E34 Kumo AI & Relational Deep Learning | |E34

In this episode, Jure Leskovec, Co-founder of Kumo AI and Professor of Comuter Science at Stanford University, discusses Relational Deep Learning (RDL) and its role in automating feature engineering. Highlights include:- How RDL enhances predictive modeling.- Applications in fraud detection and recommendation systems.- The use of graph neural networks to simplify complex data structures.

5 months, 1 week назад @ buzzsprout.com
«Ничего такого» by Dodo Enginnering
последний пост None
Запуск завтра Podcast Запуск завтра Podcast
последний пост 3 days, 2 hours назад
Власть над вниманием. Как нами управляют в цифровой среде
Власть над вниманием. Как нами управляют в цифровой среде

Почему так сложно перестать листать шортсы? Соцсети и сервисы управляют вниманием пользователей и таким образом удерживают их на платформах. За счет чего это получается? Самат Галимов говорит о закономерностях работы психики и разбирает примеры из пользовательского опыта с Еленой Горбуновой — исследовательницей цифровых интерфейсов.6+. Реклама. АО «ПФ «СКБ Контур». ОГРН 1026605606620. 620144, Екатеринбург, ул. Народной Воли, 19А. erid: 2SDnjdjAFoSКонтур — эко-система продуктов для бизнеса. О работе в компании: https://kontur.ru/s/a2os66jkМатериалы, которые мы упоминали в эпизоде: Телеграм-канал HSE UX LAB: https://t.me/hse_ux_lab Видео с невидимой гориллой: https://clck.ru/3Hunwr Подкаст «С…

3 days, 2 hours назад @ share.transistor.fm
Наши устройства способны на большее? Говорим о программных ограничениях
Наши устройства способны на большее? Говорим о программных ограничениях

Функции одного и того же устройства меняются в зависимости от того, в каких условиях его используют. Так происходит из-за программных ограничений. Откуда они берутся? На что распространяются? И как пользователям не позволить себя обмануть? Самат Галимов разбирается в этих вопросах вместе с редакторкой подкаста Машей Агличевой.6+. Реклама. АО «ПФ «СКБ Контур». ОГРН 1026605606620. 620144, Екатеринбург, ул. Народной Воли, 19А. erid: 2SDnjeLHht8 Контур — эко-система продуктов для бизнеса. О работе в компании: https://kontur.ru/s/a2os66jkПодкаст «Почему мы еще живы»: https://pc.st/1568720773Слушайте бонусные эпизоды «Запуск++», а еще другие бонусы студии «Либо/Либо» по подписке ЛибоЛибо+ в Apple…

1 week, 3 days назад @ share.transistor.fm
Интероперабельность. Как подружить сервисы между собой
Интероперабельность. Как подружить сервисы между собой

Устройства и программы, которыми мы пользуемся, умеют намного больше, чем мы можем себе представить. В США и других странах активисты борются за то, чтобы технологии были более совместимыми, а производители давали покупателям больше свободы решать, как пользоваться их продуктами. Почему это важно и какие крутые возможности появятся в интероперабельном будущем? Обсуждаем с активистом в сфере цифровых прав Кори Доктороу. 6+. Реклама. АО «ПФ «СКБ Контур». ОГРН 1026605606620. 620144, Екатеринбург, ул. Народной Воли, 19А. erid: 2SDnjdDJ444Контур — экосистема продуктов для бизнеса. О работе в компании: https://kontur.ru/s/a2os66jk Полная версию разговора на английском языке доступна по подписке. …

2 weeks, 2 days назад @ share.transistor.fm
Как россияне остались без YouTube
Как россияне остались без YouTube

Еще несколько месяцев назад YouTube смотрели около 100 миллионов россиян. В июле пользователи начали жаловаться на медленную загрузку видео, сейчас их вообще не получается запустить. Как блокировка такого популярного сервиса стала возможна? И что значил YouTube для россиян? Самат Галимов говорит с исследовательницей интернета Полиной Колозариди и одним из ведущих специалистов по блокировкам в рунете Филиппом Кулиным.Сайт проекта «Эшер II»: https://usher2.club/ Телеграм-канал «Эшер II A+»: https://t.me/usher2«Эшер II». Рассказ из книги Рея Брэдбери «Марсианские хроники»: https://usher2.club/usher2 Ссылка на бесплатный VPN-сервис: https://vpngen.org/ Подкаст «Закат империи»: https://pc.st/149…

3 weeks, 2 days назад @ share.transistor.fm
GDPR. Как устроена защита персональных данных
GDPR. Как устроена защита персональных данных

GDPR — это регламент Евросоюза о персональных данных, изменивший цифровое пространство во всем мире. Из-за него компании могут собирать данные о пользователях только по определенному алгоритму, а люди — влиять на то, какой информацией делятся. По каким правилам собирают наши данные? Кто их придумал? И как обезопасить себя? Самат Галимов говорит с Сергеем Сайгановым — сооснователем юридической фирмы Comply.6+. Реклама. АО «ПФ «СКБ Контур». ОГРН 1026605606620. 620144, Екатеринбург, ул. Народной Воли, 19А. erid: 2SDnjchXZZvКонтур — IT-разработчик продуктовой экосистемы для бизнеса. О работе в компании: https://kontur.ru/s/a2os66jkПоддержите студию подкастов «Либо/Либо», которая выпускает этот …

1 month назад @ share.transistor.fm
Как работает спутниковый интернет
Как работает спутниковый интернет

Спутники в космосе надежнее, чем кабели на дне океана? Можно ли заблокировать спутниковый интернет? Как Starlink вырвался вперед на рынке? В этом эпизоде разбираемся, как устроен и как регулируется спутниковый интернет. Гости эпизода — киберадвокат и основатель общественной организации «Роскомсвобода» Саркис Дарбинян и популяризатор космонавтики Виталий Егоров.6+. Реклама. АО «ПФ «СКБ Контур». ОГРН 1026605606620. 620144, Екатеринбург, ул. Народной Воли, 19А. erid: 2SDnjeLHht8Контур — IT-разработчик продуктовой экосистемы для бизнеса. О работе в компании: https://kontur.ru/s/a2os66jkБлог Виталия: https://www.youtube.com/@egorovkot Подкаст «На каком основании»: https://pc.st/1735291623Выпуск …

1 month, 1 week назад @ share.transistor.fm
Что означает появление DeepSeek
Что означает появление DeepSeek

На рынке искусственного интеллекта появился новый игрок. Китайская нейросеть DeepSeek сравнима по качеству с моделями OpenAI, Anthropic и Google, но на ее разработку потратили в десятки раз меньше. Вместе с Артемом Родичевым из стартапа Ex-Human разбираемся, как у DeepSeek это получилось, что это значит для лидеров индустрии и как отразится на обычных пользователях.6+. Реклама. АО «ПФ «СКБ Контур». ОГРН 1026605606620. 620144, Екатеринбург, ул. Народной Воли, 19А. erid: 2SDnjeQu4bvКонтур — IT-разработчик продуктовой экосистемы для бизнеса. О работе в компании: https://kontur.ru/s/a2os66jkСсылка на курс студии «Либо/Либо» по подкастам: https://course.libolibo.me/ Выпуск с участием Артема про …

1 month, 1 week назад @ share.transistor.fm
Как приложения оказываются на наших устройствах
Как приложения оказываются на наших устройствах

Купить телефон с хорошим дизайном или возможностью скачать приложение банка? Это выбор, перед которым оказываются пользователи и у которого нет технических причин. Как приложения попадают в AppStore? Что свободнее: телефоны или компьютеры? И кто решает, как пользователям распоряжаться своими устройствами? Самат Галимов ищет ответы вместе с редакторкой подкаста Машей Агличевой.6+. Реклама. АО «ПФ «СКБ Контур». ОГРН 1026605606620. 620144, Екатеринбург, ул. Народной Воли, 19А. erid: 2SDnjbt4aGLКонтур — IT-разработчик продуктовой экосистемы для бизнеса. О работе в компании: https://kontur.ru/s/a2os66jkПодкаст «Это непросто»: https://pc.st/1437512522 Выпуск «Это непросто» про лимонады lapochka: …

1 month, 3 weeks назад @ share.transistor.fm
Почему Telegram стал центром цифровой жизни
Почему Telegram стал центром цифровой жизни

Продуктовые решения больших площадок влияют на то, как мы общаемся с близкими, взаимодействуем с контентом и сами его создаем. Телеграм — уникальный продукт, в котором все такие решения принимаются одним человеком. Что в нем сделано иначе и как от этого меняется пользовательский опыт? Разбираемся вместе с Йованом Савовичем, создателем Лепрозория и dirty.ru.16+. Реклама. АО «ПФ «СКБ Контур». ОГРН 1026605606620. 620144, Екатеринбург, ул. Народной Воли, 19А. erid: 2SDnjeWaYMAКонтур — IT-разработчик продуктовой экосистемы для бизнеса. О работе в компании: https://kontur.ru/s/a2os66jk Ссылка на прошлый эпизод с Йованом: https://pc.st/e/28UiJE1hweX Слушайте бонусные эпизоды «Запуск++», а еще друг…

1 month, 4 weeks назад @ share.transistor.fm
Пространство (не)свободы: как развивался интернет
Пространство (не)свободы: как развивался интернет

Запуск завтра возвращается с новыми эпизодами! 12-й сезон — о власти в цифровом пространстве. В первом выпуске Самат пытается проследить, как менялся интернет по мере прихода туда новых пользователей, больших технологических компаний и государств. Сбылись ли надежды его создателей? Кто на самом деле контролирует цифровое пространство? И есть ли место для технооптимизма в 2025 году? На эти вопросы помогает ответить Алёна Епифанова, исследовательница в германском Совете по международным отношениям.16+. Реклама. АО «ПФ «СКБ Контур». ОГРН 1026605606620. 620144, Екатеринбург, ул. Народной Воли, 19А. erid: 2SDnje73pCUКонтур — IT-разработчик продуктовой экосистемы для бизнеса. О работе в компании:…

2 months назад @ share.transistor.fm
Блокчейн, AR/VR и искусственный интеллект — что изменилось за пять лет? [онлайн-трансляция]
Блокчейн, AR/VR и искусственный интеллект — что изменилось за пять лет? [онлайн-трансляция]

«Запуску завтра» исполнилось пять лет! Неделю назад мы провели праздничную трансляцию, на которой обсудили, что происходило в самых горячих областях индустрии всё это время и куда движется мир технологий теперь. Помогали нам в этом гости наших прошлых эпизодов: Кирилл Пименов рассказал про блокчейн, Артем Родичев порассуждал про будущее искусственного интеллекта, а Ольга Нова — про виртуальную и дополненную реальность. Для тех, кто не смог к нам присоединиться — трансляцию можно послушать в записи в этом эпизоде. Спасибо, что вы с нами!Эпизоды «Запуска завтра» с Кириллом Пименовым и другими экспертами про блокчейн:Эпизод про NFT: https://pc.st/e/9Cx1gPfMK5yЭпизод про криптовалюты: https://p…

3 months, 2 weeks назад @ share.transistor.fm
Приходите праздновать пятилетие «Запуска завтра» — онлайн-трансляция 28 ноября
Приходите праздновать пятилетие «Запуска завтра» — онлайн-трансляция 28 ноября

В конце ноября нашему подкасту исполняется ПЯТЬ лет. Мы очень благодарны, что вы все это время слушаете нас, и хотим отпраздновать пятилетие вместе! В четверг 28 ноября в 19:00 по Москве мы проведем праздничную трансляцию. Самат вместе с гостями будет обсуждать главные технологические события и открытия последних пяти лет: крипту, блокчейн, виртуальную реальность, искусственный интеллект, большие лингвистические модели. Мы расскажем про самые горячие темы из мира технологий, попробуем построить прогнозы на будущее и, конечно, дадим возможность вам задавать свои вопросы! Трансляция пройдет в телеграм-канале студии «Либо/Либо», которая выпускает этот подкаст. Подпишитесь, чтобы не пропустить:…

4 months назад @ share.transistor.fm
Под колпаком: как наши данные используют против нас | Подкаст «На каком основании»
Под колпаком: как наши данные используют против нас | Подкаст «На каком основании» Под колпаком: как наши данные используют против нас | Подкаст «На каком основании»

Это эпизод другого подкаста студии Либо/Либо — «На каком основании». В этом выпуске ведущая Полина Агаркова рассказывает историю о том, как Cambridge Analytica и Facebook поставили под угрозу весь демократический процесс в США и Великобритании. Другие эпизоды подкаста «На каком основании» можно послушать тут: https://podcast.ru/1735291623

5 months назад @ share.transistor.fm
Поделитесь с нами своим мнением и идеями. Короткий опрос по итогам 11 сезона «Запуска завтра»
Поделитесь с нами своим мнением и идеями. Короткий опрос по итогам 11 сезона «Запуска завтра»

Недавно мы закончили 11-й сезон подкаста, и нам очень интересно узнать, что вы думаете о нем и о подкасте в целом — что вам нравится, что не нравится и какие эпизоды вы бы хотели услышать в новом сезоне. Для этого мы подготовили небольшой опрос и очень просим вас его пройти. Это займет примерно 7 минут и поможет нам сделать «Запуск завтра» еще лучше. Ссылка на опрос: https://form.typeform.com/to/W2dUygOZ

5 months, 1 week назад @ share.transistor.fm
Amazon: как популярный онлайн-магазин подсадил всех на облака
Amazon: как популярный онлайн-магазин подсадил всех на облака Amazon: как популярный онлайн-магазин подсадил всех на облака

Как технология для стабильной работы магазина книг стала основой половины интернета? Из-за чего мы начали покупать бесконечные подписки на приложения? Почему из-за сбоев на серверах одного интернет сервиса ложится все? В этом выпуске рассказываем про «облака»: как они возникли и поменяли наши привычки покупать вещи, смотреть кино, редактировать документы и играть в игры.Реклама. ООО «Яндекс» ИНН 7736207543Партнер этого эпизода — сервис Яндекс Образование. Участвуйте в Олимпиаде AIDAO для студентов бакалавриата и магистратуры. Регистрация открыта до 5 октября 2024 года. Все подробности и условия участия тут:https://cutt.ly/aeRKEQpv?erid=2SDnjdYhKWzЭпизод с разработчиком хромбуков: https://pc…

6 months назад @ share.transistor.fm
Moscow Python Podcast Moscow Python Podcast
последний пост 1 day, 1 hour назад
Для чего пишут на Python в Meta
Для чего пишут на Python в Meta

Ведущие – Григорий Петров и Михаил Корнеев Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/ Канал Moscow Python в VK — https://vk.com/moscowpythonconf

1 day, 1 hour назад @ learnpython.podbean.com
Новости мира Python за февраль 2025
Новости мира Python за февраль 2025

https://python-day.python.ru — CFP Python Day

Ведущие – Григорий Петров и Михаил Корнеев

Новости выпуска: Первая бета LTS-релиза Django 5.2 - https://docs.djangoproject.com/en/dev/releases/5.2/ PEP 772 – Packaging governance process https://peps.python.org/pep-0772/ Official Django MongoDB Backend Public Preview - https://www.mongodb.com/blog/post/mongodb-django-backend-now-available-public-preview Poetry — https://python-poetry.org/blog/announcing-poetry-2.0.0/ Проекты на PyPI теперь можно помечать как архивные https://blog.pypi.org/posts/2025-01-30-archival/

Отклонили PEP 2026 – Calendar versioning for Python - https://peps.python.org/pep-2026/

Developer philosophy — https://qntm.org/devp…

1 week, 5 days назад @ learnpython.podbean.com
Заменит ли AI разработчиков / ждет ли нас AGI / зачем агентские системы разработчику
Заменит ли AI разработчиков / ждет ли нас AGI / зачем агентские системы разработчику

Предварительная запись на офлайн-курс Learn Python в Москве — https://forms.gle/wE7Lit97U9Q2q3oT9 CFP Python Day — https://python-day.python.ru Ведущие – Григорий Петров и Михаил Корнеев Ссылки от Александра Храмогина:

RAG — https://github.com/langgenius/dify - https://dify.ai/ База по промтингу — https://learnprompting.org/docs/introduction Релевантный Roadmap — https://roadmap.sh/ai-engineer Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — htt…

4 weeks, 1 day назад @ learnpython.podbean.com
Итоги года мира Python 2024
Итоги года мира Python 2024

Предварительная запись на офлайн-курс Learn Python в Москве — https://forms.gle/wE7Lit97U9Q2q3oT9 Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: Safe external debugger interface for CPython — https://peps.python.org/pep-0768/

результат опроса Facebook об аннотациях типов в Python — https://engineering.fb.com/2024/12/09...

возможность указывать SBOM-файлы в pyproject.toml — https://peps.python.org/pep-0770/

Сравнение Django и FastAPI — https://www.david-dahan.com/blog/comp...

предложение по добавлению выравнивания в PEP 8 — https://discuss.python.org/t/pep-8-mo... Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_pyt…

1 month, 1 week назад @ learnpython.podbean.com
Итоги года мира Python 2024
Итоги года мира Python 2024

Спонсор подкаста: курсы по Python-разработке для тех, кто уже знаком с веб-разработкой — https://vk.cc/cADwoW Ведущие – Григорий Петров и Михаил Корнеев Обсудили в выпуске: Релиз Python 3.13 Top Python Libraries 2024 — https://tryolabs.com/blog/top-python-libraries-2024 Фичи для обеспечения безопасности PyPI (обязательный 2FA, trusted publishers) Релиз нового менеджера пакетов UV Завершение поддержки Python 3.8 Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python

Канал Moscow Python в Telegram — https://t.me/moscow_python

Все выпуски — https://podcast.python.ru

Митапы Moscow Python — https://moscowpython.ru

2 months, 2 weeks назад @ learnpython.podbean.com
Новости Python за ноябрь 2024
Новости Python за ноябрь 2024

Предварительная запись на офлайн-курс Learn Python в Москве — https://forms.gle/wE7Lit97U9Q2q3oT9

Спонсор подкаста: курсы по Python-разработке для тех, кто уже знаком с веб-разработкой — https://vk.cc/cADwoW Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска Python сместил Javascript с первого места по используемости — https://github.blog/news-insights/octoverse/octoverse-2024/ PEP 750 – Template Strings — https://peps.python.org/pep-0750/ Эксперементальная поддержка partial validation в Pydantic 2.10 — https://pydantic.dev/articles/pydantic-v2-10-release#support-for-partial-validation-with-experimental_allow_partial PyPI теперь поддерживает цифровую сертификацию — https://blog.pypi…

3 months, 1 week назад @ learnpython.podbean.com
Как из Python, Open source и такой-то матери построить бизнес
Как из Python, Open source и такой-то матери построить бизнес

Ведущие – Григорий Петров и Михаил Корнеев Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/

3 months, 4 weeks назад @ learnpython.podbean.com
3.13 и другие новости за октябрь 2024
3.13 и другие новости за октябрь 2024

Спонсор подкаста: курсы по Python-разработке для тех, кто уже знаком с веб-разработкой — https://vk.cc/cADwoW Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска:

Python 3.13 — https://pythoninsider.blogspot.com/2024/10/python-3130-final-released.html Jacob Kaplan-Moss рассказал о финансах Django Software Foundation — https://jacobian.org/2024/oct/8/dsf-one-million/ PEP 735 — https://peps.python.org/pep-0735/ PEP 758 — https://peps.python.org/pep-0758/ PEP 761 — https://peps.python.org/pep-0761/ PEP 760 — https://peps.python.org/pep-0760/ Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Teleg…

4 months, 3 weeks назад @ learnpython.podbean.com
Релиз 3.13 и когда перестать использовать 3.8 / Python Developers Survey 2023 / Дискуссия про uv
Релиз 3.13 и когда перестать использовать 3.8 / Python Developers Survey 2023 / Дискуссия про uv

Спонсор подкаста: курсы по Python-разработке для тех, кто уже знаком с веб-разработкой — https://vk.cc/cADwoW Ведущие – Никита Соболев и Михаил Корнеев

Новости выпуска: Релиз 3.13 перенесли на 7-е октября — https://discuss.python.org/t/incremental-gc-and-pushing-back-the-3-13-0-release/65285 Время перестать использовать 3.8 — https://pythonspeed.com/articles/stop-using-python-3.8/ Когда пора апргрейдиться до 3.13 — https://pythonspeed.com/articles/upgrade-python-3.13/ Python Developers Survey 2023 — https://lp.jetbrains.com/python-developers-survey-2023/ Большая дискуссия про uv в хвиторе — https://simonwillison.net/2024/Sep/8/uv-under-discussion-on-mastodon/ Каналы Никиты Соболева: https:/…

5 months, 2 weeks назад @ learnpython.podbean.com
Django 5.1 / Релиз uv / PyPI реагируют на Malware в течение суток / Рейтинг популярности ЯП от IEEE
Django 5.1 / Релиз uv / PyPI реагируют на Malware в течение суток / Рейтинг популярности ЯП от IEEE

Спонсор подкаста: курсы по Python-разработке для тех, кто уже знаком с веб-разработкой — https://vk.cc/cADwoW Ведущие – Григорий Петров и Михаил Корнеев

Новости выпуска:

Вышла Django 5.1

Большой релиз uv PyPI снизили время реагировании на mailware до 24 часов

IEEE опубликовали очередной рейтинг популярности языков, python на первом месте Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru

6 months, 1 week назад @ learnpython.podbean.com
Зачем гуманитариям изучать Python?
Зачем гуманитариям изучать Python? 7 months, 1 week назад @ learnpython.podbean.com
Новости Python за июль 2024
Новости Python за июль 2024

Спонсор подкаста — https://learn.python.ru/advanced

Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: Утечка токена для полного доступа к GitHub-репозиториям проекта Python

Запущен сайт про nogil-питон

Python grapples with Apple App Store rejections

Вышел Polars 1.0 PEP 751 общий формал для lock-файлов зависимостей Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru

7 months, 2 weeks назад @ learnpython.podbean.com
Новости Python за июнь 2024
Новости Python за июнь 2024

Спонсор подкаста — https://learn.python.ru/advanced

Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: Должен ли Python использовать календарную нумерацию версий Релиз NumPy 2.0

Как устроена инфраструктура работы с уязвимостями в Python

Современные практики для разработки на Python Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru

8 months, 1 week назад @ learnpython.podbean.com
Яндекс и Python: Взгляд изнутри с Сергеем Яхницким
Яндекс и Python: Взгляд изнутри с Сергеем Яхницким

В этом выпуске встретились с Сергеем Яхницким и обсудили: Python в Яндекс.Такси

как в Яндексе организована разработка Python кода

как организован CI/CD

какие линтеры используют

борются ли как-то с использованием типов

используют ли в Яндексе ruff

про PiterPy

про поиск спикеров

что нравится Сергею в конференциях

8 months, 3 weeks назад @ learnpython.podbean.com
Что нового в Python 3.13 и 3.14 c Никитой Соболевым
Что нового в Python 3.13 и 3.14 c Никитой Соболевым

Спонсор подкаста: продвинутые курсы для разработчиков — https://vk.cc/cxi9FL

Ведущие – Григорий Петров и Михаил Корнеев https://github.com/sobolevn/ship-it-b... - настолка от Никиты / @sobolevn — видео от Никиты

8 months, 3 weeks назад @ learnpython.podbean.com
Podlodka Podcast Podlodka Podcast
последний пост 6 days, 10 hours назад
Podlodka #416 – Node.js
Podlodka #416 – Node.js Podlodka #416 – Node.js

Node.js начинался с невинного вопроса: «А что будет, если запустить Javascript вне браузера?». Несмотря на предубеждения и скепсис, отрицать бессмысленно – эксперимент удался, ведь миллионы разработчиков используют Node.js каждый день. Почему так вышло – разбираемся с Игорем Антоновым! Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Женя Кателла, Катя Петрова Полезные ссылки: Блог «Про JavaScript и разработку» в телеграм — https://t.me/antonovjs

Блог «Про JavaScript …

6 days, 10 hours назад @ soundcloud.com
Podlodka #415 – Лямбда исчисление
Podlodka #415 – Лямбда исчисление Podlodka #415 – Лямбда исчисление

Лямбда исчисление — база! Или нет? Разбираемся в новом выпуске с Виталием Брагилевским! Как лямбда исчисление появилось и почему эта формальная система так мощна и изящна? Как связаны между собой Чёрч и Тьюринг? И как в конце-концов труды Чёрча повлияли на Lisp, Haskell, и другие функциональные языки? История, математика, теория языков программирования и щепоточка отборного юмора — скорее включайте новый выпуск, чтобы насладиться всем и сразу! Партнёр эпизода — компания YADRO. YADRO — это крупнейшая технологическая компания, которая создает фундаментальные для российского рынка продукты, начиная от серверов, и заканчивая собственной базовой станцией. Большое инженерное сообщество, амбициозн…

1 week, 6 days назад @ soundcloud.com
Podlodka #414 – Высшее образование для программиста
Podlodka #414 – Высшее образование для программиста Podlodka #414 – Высшее образование для программиста

Вместе с Иваном Углянским, разработчиком виртуальных машин и одним из авторов профиля “Системное программирование” в ММФ НГУ, обсуждаем вечные вопросы про программистов и высшее образование. Нужна ли вышка для того, чтобы стать хорошим программистом? А если да, то чему вообще нужно учить студентов, как удерживать баланс между необходимой теорией и прикладными знаниями, и одновременно с этим готовить выпускников к будущей реальной жизни? Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast В…

2 weeks, 6 days назад @ soundcloud.com
Podlodka #413 – IT в логистике
Podlodka #413 – IT в логистике Podlodka #413 – IT в логистике

Как работает логистика на уровне IT-продукта? CTO X5 Александр Костин объясняет, почему управление поставками — это не просто оптимизация маршрутов, а сложная оркестрация физических процессов, данных и автоматизированных решений. Поговорим о том, какие системы помогают прогнозировать запасы, как строится маршрутизация курьеров, почему внедрение фич идет медленно, а A/B-тесты — редкость. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka

Telegram-канал: https://t.me/podlodkanews Страница в Facebook: https://facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Стас Цыганов, Катя Петрова

3 weeks, 6 days назад @ soundcloud.com
Podlodka #412 – Как создаются истории
Podlodka #412 – Как создаются истории Podlodka #412 – Как создаются истории

В этом выпуске мы вместе с Алексеем Поляриновым – автором таких книг, как Кадавры и Риф – разбираемся в непростых вопросах из мира писательства. Например, для кого писать – для себя, или для читателя? Должно ли читателю всегда быть приятно? Открытые концовки – это хорошо, или автору просто лень? Все ответы – в выпуске! Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Женя Кателла, Катя Петрова Полезные ссылки: Telegram-канал Алексея

https://t.me/Polyarinov Инстаграм А…

1 month назад @ soundcloud.com
Podlodka #411 – Открытие зарплаты
Podlodka #411 – Открытие зарплаты Podlodka #411 – Открытие зарплаты

Информация о зарплатах в компаниях чаще всего скрыта; в лучшем случае известны вилки. При этом зарплата — это одна из главных метрик, по которой сотрудник оценивается работодателем. Но если зарплаты закрыты, можно ли быть уверенным в справедливом распределении фонда оплаты труда? И возможна ли вообще справедливость в таких условиях? Некоторые компании решаются на радикальный шаг — открывают информацию о зарплатах для всех сотрудников. Зачем они это делают? Какие плюсы и риски несет эта практика? Включайте выпуск! В гостях — Антон Бевзюк, который рассказал об опыте внедрения открытых зарплат на примере MindBox. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegra…

1 month, 1 week назад @ soundcloud.com
Podlodka #410 – SexTech
Podlodka #410 – SexTech Podlodka #410 – SexTech

В этом выпуске мы погружаемся в мир секстеха вместе с Таней Дмитриевой — секс-просветительницей, предпринимательницей и терапевткой. Обсуждаем, какие инновации уже существуют: от виртуальных партнеров и AI до теледильдоники и иммерсивного опыта. Разбираемся, как развивается рынок секс-игрушек, какие приложения помогают в планировании сексуальной жизни и чем сексологи отличаются от классических психотерапевтов. Ну и конечно говорим о будущем индустрии, вопросах этики, цензуры и маркетинга. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ T…

1 month, 2 weeks назад @ soundcloud.com
Podlodka #409 – Релокация в США, часть 2
Podlodka #409 – Релокация в США, часть 2 Podlodka #409 – Релокация в США, часть 2

Снова в гостях Артем Зиннатуллин и снова трехчасовой хронометраж, а что это значит? Все верно – это вторая часть выпуска про релокацию в США! Как никогда вовремя: в стране большие перемены, и совершенно непонятно, что это значит для релокантов. Поговорили и про это, и про бытовые нюансы, начиная от жилья и налогов, и заканчивая автомобилями. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Женя Кателла, Аня Симонова Полезные ссылки: Твиттер Артема

https://x.com/abstra…

1 month, 3 weeks назад @ soundcloud.com
Podlodka #408 – Смена профессии в IT
Podlodka #408 – Смена профессии в IT Podlodka #408 – Смена профессии в IT

Смена профессии в IT – сложный, но увлекательный процесс, который прошел каждый из ведущих Podlodka. В этом выпуске обсуждаем личные истории переходов, стандартные треки смены ролей и мотивацию, которая движет такими решениями. Разбираем, как грамотно организовать внутренний или внешний переход, подготовить резюме, избежать ошибок и не сжечь мосты. Делимся лайфхаками как прокачиваться для новой роли без рабочих задач, а уже после перехода преодолевать синдром самозванца и справляться с трудностями на новом месте. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.fac…

2 months назад @ soundcloud.com
Podlodka #407 – Self-hosting
Podlodka #407 – Self-hosting Podlodka #407 – Self-hosting

Одно из самых айтишных хобби – селфхостинг. Вместо того, чтобы полагаться на ненадежных облачных провайдеров, которые могут вас забанить в любой день по цвету паспорта, перед этим случайно слив ваши приватные данные, вы поднимаете свой собственный домашний сервер и разворачиваете на нем все, что нужно для комфортной жизни. Роман Богданов, инженер с огромным опытом системного администрирования и селфхостинга, рассказал нам о том, как правильно вкатиться в селфхостинг и собрать свой сетап. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Tw…

2 months, 1 week назад @ soundcloud.com
Podlodka #406 – Нутрициология
Podlodka #406 – Нутрициология Podlodka #406 – Нутрициология

Как разобраться в мире современных подходов к питанию и не потеряться среди популярных диет, инста-советов и исследований? В этом выпуске мы поговорили с Марией Кардаковой — ученым-нутрициологом, которая живет и работает в Великобритании, руководит IT-стартапом по планированию меню и продвигает доказательный подход к здоровому питанию. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka

Telegram-канал: https://t.me/podlodkanews

Страница в Facebook: https://facebook.com/podlodkacast/

Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Екатерина Петрова, Стас Цыганов, Аня Симонова Полезные ссылки:

Профессиональный с…

2 months, 2 weeks назад @ soundcloud.com
Podlodka #405 – Итоги года 2024
Podlodka #405 – Итоги года 2024 Podlodka #405 – Итоги года 2024

Это запись нашего новогоднего стрима 🎅🏼 Выходить в прямой эфир перед новым годом — наша давняя, любимая традиция! На стриме мы подводим итоги года, обсуждаем любимые выпуски, отвечаем на вопросы слушателей, делимся открытиями, достижениями и провалами года. Ну и как же без новогоднего чуда? Традиционно, мы устроили квиз среди зрителей лайва на знание лора вселенной Подлодки. Если хотите посмотреть, как прошел квиз, а так же заценить наши новогодние наряды — приглашаем посмотреть запись стрима на YouTube: https://www.youtube.com/watch?v=9t_kb1-z7ag Всех с новым годом! Спасибо, что были с нами в 2024, и до встречи в 2025 ❤️ Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсе…

2 months, 3 weeks назад @ soundcloud.com
Podlodka #404 – Системы эффектов в языках программирования
Podlodka #404 – Системы эффектов в языках программирования Podlodka #404 – Системы эффектов в языках программирования

Что общего у скорости вычислений, мутабельности, кеширования и исключений? Все это – сайд-эффекты, которые сопровождают результаты вычислений. Виталий Брагилевский показал нам невероятно прекрасную картину, которая открывается, если рассматривать все возможные эффекты как часть одной системы – программирование становится более простым, контролируемым и выразительным! Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Катя Петрова, Егор Толстой Полезные ссылки: Книга про…

3 months назад @ soundcloud.com
Podlodka #403 – JavaFx и Swing
Podlodka #403 – JavaFx и Swing Podlodka #403 – JavaFx и Swing

Продолжаем серию выпусков о кроссплатформенной разработке под десктоп! На этот обозреваем сразу два фреймворка – JavaFX и Swing, а чтобы было честно, мы пригласили двух экспертов: Михаила Соколова, Platform UI разработчика из JetBrains, и Кирилла Кириченко, который занимался разработкой Swing/JavaFX еще в Sun/Oracle. Вместе с гостями мы не только заглянем в кишочки каждого из фреймворков, но и обсудим их прикладные аспекты. Разберемся, как так получилось, что в Java-экосистеме существуют сразу два конкурирующих решения для разработки UI, попробуем понять, кто все таки победил, или оба фреймворка пора запокать. В выпуске много технических деталей, клевых фактов из истории развития экосистемы…

3 months, 1 week назад @ soundcloud.com
Podlodka #402 – Развитие продукта
Podlodka #402 – Развитие продукта Podlodka #402 – Развитие продукта

Когда продукт уже устоялся, перед командой встает задача масштабирования и поиска новых направлений для роста. В этом выпуске мы поговорили с Анной Булдаковой — фаундером No flame no game и Meander, ex Meta & Intercom. Обсудили, как понять, что продукт “работает нормально”. Разобрались, что важнее: привлекать новых пользователей или глубже решать проблемы текущей аудитории. Поговорили о том, почему роадмап не всегда отражает пользовательские метрики. Также обсудили, как меняются процессы и работа со стейкхолдерами на этапе масштабирования. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews С…

3 months, 2 weeks назад @ soundcloud.com
Проветримся! Проветримся!
последний пост 3 months, 1 week назад
Александр Мерзликин: чемпионат по сну
Александр Мерзликин: чемпионат по сну

Александр Мерзликин — основатель стартапа Sleeptery, который предлагает игровой подход для улучшения сна.Support the showApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

3 months, 1 week назад @ buzzsprout.com
Надежда Бей: Фиджитал Искусство
Надежда Бей: Фиджитал Искусство

Надежда Бей — VR-художница и резидент фиджитал галереи Охра.Канал Нади: https://t.me/irrealartКанал Охры: https://t.me/phygitalgalleryПолезные книги:Ната Покровская и Антон Уткин: Белое зеркало. Учебник по интерактивному сторителлингу в кино, VR и иммерсивном театре.Cyane Tornatzky, Brendan Kelley "An Artistic Approach to Virtual Reality"Curtis Hickman "Hyper-reality: The art of designing impossible experiences"Кристиана Пол "Цифровое искусство"Support the showApplePodcasts: https://apple.co/...

3 months, 3 weeks назад @ buzzsprout.com
Никита Калинин: петербургская математическая школ
Никита Калинин: петербургская математическая школ

Никита Калинин — Associate Professor в Технионе в Гуанджоу и автор канала Tropical Saint-Petersburg. Мы поговорили с ним про Петебругскую математику и математиков.Support the showApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

4 months назад @ buzzsprout.com
Елена Доброхотова: как сказать смерти "не сейчас"
Елена Доброхотова: как сказать смерти "не сейчас"

Елена Доброхотова — сооснователь стартапа Not Yet. Мы поговорили с ней о рынке медицинских носимых устройств, о здоровье и старении.Support the showApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

4 months, 1 week назад @ buzzsprout.com
Игорь Кузьмичев: чудаки города Ленинграда
Игорь Кузьмичев: чудаки города Ленинграда

Игорь Кузьмичёв исследует "вторую культуру" Ленинграда и ведёт телеграм-канал "Здесь был Майк" Telegram: t.me/mikewashereSupport the showApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

4 months, 2 weeks назад @ buzzsprout.com
Геннадий Асиньяров: "Марсианин" из Красноярска
Геннадий Асиньяров: "Марсианин" из Красноярска

Геннадий Асиньяров — кандидат биологических наук, участник проекта БИОС-3 в рамках которого исследовались возможности замкнутых систем жизнеобеспечения. Такие системы гипотетически могли бы использоваться для колонизации Марса.Геннадий Захарович также один из создателей методики НООГЕН. Книга: https://shorturl.at/vC2vwSupport the showApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

4 months, 3 weeks назад @ buzzsprout.com
Сергей Нурк: как и зачем читают геном
Сергей Нурк: как и зачем читают геном

Сергей Нурк руководит командой разработки биоинформатических инструментов в Oxford Nanopore technologies.Support the showApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

4 months, 4 weeks назад @ buzzsprout.com
Александр Гечис: "GTA" на автозаводе
Александр Гечис: "GTA" на автозаводе

Александр Гечис разрабатывает алгоритмы для немецкого стартапа Kopernikus Automotive. Благодаря работе Александра автомобили сами могут перемещаться по фабрике от цеха к цеху в процессе производства.Support the showApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

5 months, 2 weeks назад @ buzzsprout.com
Артём Родичев: эмпатия искусственного интеллекта
Артём Родичев: эмпатия искусственного интеллекта

Артём Родичев — основатель и CEO стартапа ex-Human. ex-Human создаёт искусственный интеллект, способный поддерживать беседу на любую, даже очень личную, тему.Ex-human AI: https://exh.ai/Support the Show.ApplePodcasts: https://apple.co/2Psx8yd GooglePodcasts: https://shorturl.at/finK1 Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

8 months назад @ buzzsprout.com
Наталья Шагарина: ИИ для семьи
Наталья Шагарина: ИИ для семьи

Наталия Шагарина — серийная предпринимательница. Её новый стартап Аврора - виртуальный помощник для семей. Аврора помогает координировать расписание и справляться с рутиной, осовобождая силы и время, - чтобы все могли заниматься самым важным.Support the Show.ApplePodcasts: https://apple.co/2Psx8yd GooglePodcasts: https://shorturl.at/finK1 Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

8 months, 1 week назад @ buzzsprout.com
Иван Курилла: рабство и крепостное право
Иван Курилла: рабство и крепостное право

19 февраля (по старому стилю) или 3 марта (по новому) 1861 года в Российской Империи указом императора Александра Второго отменили крепостное право.Это вторая серия двухсерийного разговора. Сегодня мы говорим с историком Иваном Куриллой, специалистом по русско-американским отношениям о схожем и различном между рабством в США и крепостничеством в России.Support the Show.ApplePodcasts: https://apple.co/2Psx8yd GooglePodcasts: https://shorturl.at/finK1 Я.Музыка: https://clck.ru/JJB8yПатрео...

8 months, 3 weeks назад @ buzzsprout.com
Воля и свобода
Воля и свобода

19 февраля (по старому стилю) или 3 марта (по новому) 1861 года в Российской Империи указом императора Александра Второго отменили крепостное право.Это первая серия двухсерийного разговора. Сегодня мы говорим с историком Владимиром Коршаковым, автором канала Русские Летописи про то, как древнерусский человек понимал понятия "воля" и "свобода".Ютуб Владимира: @letopisirus Телеграм: https://t.me/letopisi_rusТвиттер: https://twitter.com/letopisi_rusSupport the Show.ApplePodcasts: htt...

8 months, 3 weeks назад @ buzzsprout.com
Вы находитесь здесь Вы находитесь здесь
последний пост None
Comand Line Heroes by RedHat Comand Line Heroes by RedHat
последний пост None
Python Bytes Python Bytes
последний пост 6 days, 2 hours назад
#424 We Will Test in Production
#424 We Will Test in Production #424 We Will Test in Production

Topics include The weird quirk with rounding in Python, Python interpreter adds tail calls, Remove punctuation from a string with translate and maketrans, and.

6 days, 2 hours назад @ pythonbytes.fm
#423 Traveling the Python Universe
#423 Traveling the Python Universe #423 Traveling the Python Universe

Topics include pysqlscribe, A map of Python, Rust, C++, and Python trends in jobs on Hacker News 2025), and The features of Python's help() function.

1 week, 6 days назад @ pythonbytes.fm
#422 You need 4 spaces
#422 You need 4 spaces #422 You need 4 spaces

Topics include My 2025 uv-based Python Project Layout for Production Apps, aiolimiter, A peek into a possible future of Python in the browser, and Reloadium.

2 weeks, 6 days назад @ pythonbytes.fm
#421 22 years old
#421 22 years old #421 22 years old

Topics include httpdbg, PyPI Now Supports iOS and Android Wheels for Mobile Python Development, Arcade Game Platform, and PEP 765 – Disallow return/break/continue that exit a finally block.

3 weeks, 6 days назад @ pythonbytes.fm
#420 90% Done in 50% of the Available Time
#420 90% Done in 50% of the Available Time #420 90% Done in 50% of the Available Time

Topics include PEP 772 – Packaging governance process, Official Django MongoDB Backend, Developer Philosophy, and Python 3.13.2.

1 month назад @ pythonbytes.fm
#419 Is your back end popular?
#419 Is your back end popular? #419 Is your back end popular?

Topics include content-types package, Wagtail 6.4, Build It Yourself, and Build backend popularity over time.

1 month, 2 weeks назад @ pythonbytes.fm
#418 I'm a tea pot
#418 I'm a tea pot #418 I'm a tea pot

Topics include In memoriam: Michael Foord 1974-2025, Valkey Replacement), 30 best practices for software development and testing, and mimetype.io.

1 month, 3 weeks назад @ pythonbytes.fm
#417 Bugs hide from the light
#417 Bugs hide from the light #417 Bugs hide from the light

Topics include LLM Catcher, , RESPX, and Unpacking kwargs with custom objects.

2 months назад @ pythonbytes.fm
#416 A Ghostly Episode
#416 A Ghostly Episode #416 A Ghostly Episode

Topics include , Winloop, , and uv-secure.

2 months, 1 week назад @ pythonbytes.fm
#415 Just put the fries in the bag bro
#415 Just put the fries in the bag bro #415 Just put the fries in the bag bro

Topics include dbos-transact-py, Typed Python in 2024: Well adopted, yet usability challenges persist, RightTyper, and Lazy self-installing Python scripts with uv.

3 months назад @ pythonbytes.fm
#414 Because we are not monsters
#414 Because we are not monsters #414 Because we are not monsters

Topics include New project to shorten django-admin to django because we are not monsters, django-unicorn sparkles, Testing some tidbits, and The State of Python 2024 article.

3 months, 1 week назад @ pythonbytes.fm
#413 python-build-standalone finds a home
#413 python-build-standalone finds a home #413 python-build-standalone finds a home

Topics include jiter, A new home for python-build-standalone, moka-py, and uv: An In-Depth Guide.

3 months, 2 weeks назад @ pythonbytes.fm
#412 Closing the loop
#412 Closing the loop #412 Closing the loop

Topics include Loop targets, asyncstdlib, Bagels: TUI Expense Tracker, and rloop:

3 months, 3 weeks назад @ pythonbytes.fm
#411 TLS Client: Hello <>
#411 TLS Client: Hello <> #411 TLS Client: Hello <>

Topics include Talk Python rewritten in Quart, PyPI now supports digital attestations, Django Rusty Templates, and PEP 639 is now supported by PYPI.

3 months, 4 weeks назад @ pythonbytes.fm
#410 Entering the Django core
#410 Entering the Django core #410 Entering the Django core

Topics include Thoughts on Django’s Core, futurepool, Don't return named tuples in new APIs, and Ziglang: Migrating from AWS to Self-Hosting.

4 months назад @ pythonbytes.fm
Software Engineering Daily Software Engineering Daily
последний пост 3 days, 1 hour назад
React Remix with Ryan Florence
React Remix with Ryan Florence

Remix is a full-stack, open-source web framework that was developed by the creators of the popular React Router library. It focuses on features such as server-side rendering and efficient data loading, and it emphasizes developer experience. Ryan Florence is a co-creator of React Remix and in this episode he speaks with Josh Goldberg about the

The post React Remix with Ryan Florence appeared first on Software Engineering Daily.

3 days, 1 hour назад @ softwareengineeringdaily.com
Turing Award Special: A Conversation with Jack Dongarra
Turing Award Special: A Conversation with Jack Dongarra

Jack Dongarra is an American computer scientist who is celebrated for his pioneering contributions to numerical algorithms and high-performance computing. He developed essential software libraries like LINPACK and LAPACK, which are widely used for solving linear algebra problems on advanced computing systems. Dongarra is also a co-creator of the TOP500 list, which ranks the world’s

The post Turing Award Special: A Conversation with Jack Dongarra appeared first on Software Engineering Daily.

5 days, 1 hour назад @ softwareengineeringdaily.com
Quantum Computing at Rigetti with David Rivas
Quantum Computing at Rigetti with David Rivas

Rigetti Computing is an American company specializing in quantum computing, founded in 2013. The company develops quantum processors and hybrid quantum-classical computing systems, and aims to make quantum computing more accessible for research and commercial applications. David Rivas is the CTO at Rigetti Computing. He joins the podcast with Kevin Ball to talk about the

The post Quantum Computing at Rigetti with David Rivas appeared first on Software Engineering Daily.

1 week, 3 days назад @ softwareengineeringdaily.com
The State of the Ethereum Blockchain with Andrew Koller
The State of the Ethereum Blockchain with Andrew Koller

Ethereum is a decentralized blockchain platform that was created by Vitalik Buterin and Gavin Wood in 2015. It uses a cryptocurrency called Ether as its native token to power transactions and operations on the Ethereum network. Ethereum’s proponents envision a future where the network forms the foundation for a second platform layer, called L2, where

The post The State of the Ethereum Blockchain with Andrew Koller appeared first on Software Engineering Daily.

1 week, 5 days назад @ softwareengineeringdaily.com
StackHawk and Shift-Left API Security with Scott Gerlach
StackHawk and Shift-Left API Security with Scott Gerlach

APIs are a fundamental part of modern software systems and enable communication between services, applications, and third-party integrations. However, their openness and accessibility also make them a prime target for security threats, and this makes APIs a growing focus on software teams. StackHawk is a company that scans and monitors source code to obtain the

The post StackHawk and Shift-Left API Security with Scott Gerlach appeared first on Software Engineering Daily.

2 weeks, 3 days назад @ softwareengineeringdaily.com
NVIDIA RAPIDS and Open Source ML Acceleration with Chris Deotte and Jean-Francois Puget
NVIDIA RAPIDS and Open Source ML Acceleration with Chris Deotte and Jean-Francois Puget

NVIDIA RAPIDS is an open-source suite of GPU-accelerated data science and AI libraries. It leverages CUDA and significantly enhances the performance of core Python frameworks including Polars, pandas, scikit-learn and NetworkX. Chris Deotte is a Senior Data Scientist at NVIDIA and Jean-Francois Puget is the Director and a Distinguished Engineer at NVIDIA. Chris and Jean-Francois

The post NVIDIA RAPIDS and Open Source ML Acceleration with Chris Deotte and Jean-Francois Puget appeared first on Software Engineering Daily.

2 weeks, 5 days назад @ softwareengineeringdaily.com
Browser Security with Jeswin Mathai
Browser Security with Jeswin Mathai

Browser security aims to protect users from cyber threats encountered online, such as phishing, malicious extensions, and malware. It’s a complex, multifaceted challenge that’s increasingly important as cloud-based tools, SaaS platforms, and collaborative applications become the backbone of modern workflows. Jeswin Mathai is the Chief Architect at SquareX which is a cybersecurity company focused on

The post Browser Security with Jeswin Mathai appeared first on Software Engineering Daily.

3 weeks, 3 days назад @ softwareengineeringdaily.com
Troubleshooting Microservices with Julia Blase
Troubleshooting Microservices with Julia Blase

A distributed system is a network of independent services that work together to achieve a common goal. Unlike a monolithic system, a distributed system has no central point of control, meaning it must handle challenges like data consistency, network latency, and system failures. Debugging distributed systems is conventionally considered challenging because modern architectures consist of

The post Troubleshooting Microservices with Julia Blase appeared first on Software Engineering Daily.

3 weeks, 5 days назад @ softwareengineeringdaily.com
Vercel’s Developer Frameworks with Ary Khandelwal and Max Leiter
Vercel’s Developer Frameworks with Ary Khandelwal and Max Leiter

The availability of high-quality AI model APIs has drastically lowered the barriers developing AI applications. These tools abstract away complex tasks such as model deployment, scaling, data retrieval, natural language processing, and text generation. Vercel has developed a complementary set of tools for building AI web applications, including their AI SDK, v0, and the shadcn/ui

The post Vercel’s Developer Frameworks with Ary Khandelwal and Max Leiter appeared first on Software Engineering Daily.

1 month назад @ softwareengineeringdaily.com
Docusign for Developers with Dan Selman and Larry Jin
Docusign for Developers with Dan Selman and Larry Jin

Agreements and contracts are a fundamental innovation and govern everything from personal commitments to major financial decisions. They function as trusted artifacts to capture the nature of a commitment and provide clarity and accountability. Software has revolutionized many business functions, including the basic mechanics of digitally signing an agreement. However, the process of managing agreements

The post Docusign for Developers with Dan Selman and Larry Jin appeared first on Software Engineering Daily.

1 month назад @ softwareengineeringdaily.com
The Subsea Cable Network with Josh Dzieza
The Subsea Cable Network with Josh Dzieza

Subsea cables are high-capacity fiber-optic lines laid along the ocean floor to enable global communication by transmitting data between continents. Spanning thousands of miles, they carry an estimated 95% of international internet, phone, and data transmissions. Critically, these cables are vulnerable to sabotage by state actors, as they form critical infrastructure for global communication and

The post The Subsea Cable Network with Josh Dzieza appeared first on Software Engineering Daily.

1 month, 1 week назад @ softwareengineeringdaily.com
LangChain and Agentic AI Engineering with Erick Friis
LangChain and Agentic AI Engineering with Erick Friis

LangChain is a popular open-source framework to build applications that integrate LLMs with external data sources like APIs, databases, or custom knowledge bases. It’s commonly used for chatbots, question-answering systems, and workflow automation. Its flexibility and extensibility have made it something of a standard for creating sophisticated AI-driven software. Erick Friis is a Founding Engineer

The post LangChain and Agentic AI Engineering with Erick Friis appeared first on Software Engineering Daily.

1 month, 1 week назад @ softwareengineeringdaily.com
Secure Communications in Embedded Systems with Ismael Valenzuela and John Wall
Secure Communications in Embedded Systems with Ismael Valenzuela and John Wall

BlackBerry is a Canadian company known for its pivotal role in the smartphone market during the 2000s. Today, BlackBerry has adopted a major focus on cybersecurity. John Wall is SVP and Head of BlackBerry QNX, overseeing engineering, product and operations. Ismael Valenzuela is Vice President of Threat Research and Intelligence at BlackBerry, where he leads

The post Secure Communications in Embedded Systems with Ismael Valenzuela and John Wall appeared first on Software Engineering Daily.

1 month, 2 weeks назад @ softwareengineeringdaily.com
Caves of Qud with Brian Bucklew
Caves of Qud with Brian Bucklew

Caves of Qud is a roguelike game set in a richly detailed, post-apocalyptic world blending science fiction and fantasy. The game is known for its deep lore, emergent gameplay, and wildly creative character customization. It is a massive indie success, and recently hit a major milestone with the release of version 1.0 after 15 years

The post Caves of Qud with Brian Bucklew appeared first on Software Engineering Daily.

1 month, 2 weeks назад @ softwareengineeringdaily.com
Maximizing Cloud Efficiency with Jerzy Grzywinski and Brent Segner
Maximizing Cloud Efficiency with Jerzy Grzywinski and Brent Segner

Compute optimization in a cloud environment is a common challenge because of the need to balance performance, cost, and resource availability. The growing use of GPUs for workloads, including AI, is also increasing the complexity and importance of optimization given the relatively high cost of GPU cloud computation. Jerzy Grzywinski is a Senior Director of

The post Maximizing Cloud Efficiency with Jerzy Grzywinski and Brent Segner appeared first on Software Engineering Daily.

1 month, 2 weeks назад @ softwareengineeringdaily.com
Habr Podcasts Habr Podcasts
последний пост None
Мысли и Методы Мысли и Методы
последний пост None
⌨ Coding
Martin Fowler
последний пост 3 weeks, 3 days назад
Comments on US passport applications
Comments on US passport applications Comments on US passport applications

Martin Fowler: 26 Feb 2025The new US administration has decided to eliminate the “X” option for gender/sex on passports.

I have several non-binary friends, and I don’t see why they should have to select an option that makes no sense for them.

I also don’t see how an “X” option on identity documents causes a material problem for anyone else.

There are three such pages:DS-11 new passport application: (deadline 3/17/25) https://www.federalregister.gov/documents/2025/02/14/2025-02648/30-day-notice-of-proposed-information-collection-application-for-a-us-passportDS-82 passport renewal: (deadline 3/20/25) https://www.federalregister.gov/documents/2025/02/18/2025-02697/30-day-notice-of-…

3 weeks, 3 days назад @ martinfowler.com
GenAI Patterns: Fine Tuning
GenAI Patterns: Fine Tuning GenAI Patterns: Fine Tuning

While this approach involves evaluating with an LLM, using a different LLM helps address some of the issues of self-evaluation.

While this approach involves evaluating with an LLM, using a different LLM helps address some of the issues of self-evaluation.

The common approach is to build an index to the documents using embeddings, then use this index to search the documents.

This is even more apparent with using LLMs, where rephrasing a question often leads to significantly different answers.

LLM models are constantly improving so it is important to have these prompt evals in our build pipeline to track progress.

3 weeks, 4 days назад @ martinfowler.com
GenAI Patterns: Guardrails and RAG overview
GenAI Patterns: Guardrails and RAG overview GenAI Patterns: Guardrails and RAG overview

While this approach involves evaluating with an LLM, using a different LLM helps address some of the issues of self-evaluation.

While this approach involves evaluating with an LLM, using a different LLM helps address some of the issues of self-evaluation.

Provide a comprehensive, accurate, and coherent response to the user query, using the provided context.

Hybrid Retriever Minimalistic user query Not all users are able to clearly articulate their intent in a well-formed natural language query.

However, for vector search on description we have to explicitly add an additional field to store its corresponding embedding.

1 month назад @ martinfowler.com
What role does LLM reasoning play for software tasks?
What role does LLM reasoning play for software tasks? What role does LLM reasoning play for software tasks?

So I asked the AI tools to not mock the input object, and instead set up reasonable test data for it.

(After about 1 hour of fiddling with Maven, which the AI tools could not help me with.)

There is a mindset shift we have to make when using Generative AI tools in general.

When you adjust these expectations, and give yourself some time to understand the behaviours and quirks of the eager donkey, you’ll get more out of AI coding assistants.

LLM-based AI coding assistants perform best when they divide-and-conquer problems, and TDD is how we do that for software development.

1 month назад @ martinfowler.com
GenAI Patterns: Reranker
GenAI Patterns: Reranker GenAI Patterns: Reranker

When to use it While this is useful in many contexts, and its usage triggered the wide excitement about using LLMs, it has some significant shortcomings.

While this approach involves evaluating with an LLM, using a different LLM helps address some of the issues of self-evaluation.

While this approach involves evaluating with an LLM, using a different LLM helps address some of the issues of self-evaluation.

The common approach is to build an index to the documents using embeddings, then use this index to search the documents.

This is even more apparent with using LLMs, where rephrasing a question often leads to significantly different answers.

1 month, 1 week назад @ martinfowler.com
GenAI Patterns: Query Rewriting
GenAI Patterns: Query Rewriting GenAI Patterns: Query Rewriting

When to use it While this is useful in many contexts, and its usage triggered the wide excitement about using LLMs, it has some significant shortcomings.

While this approach involves evaluating with an LLM, using a different LLM helps address some of the issues of self-evaluation.

While this approach involves evaluating with an LLM, using a different LLM helps address some of the issues of self-evaluation.

However, for vector search on description we have to explicitly add an additional field to store its corresponding embedding.

This is even more apparent with using LLMs, where rephrasing a question often leads to significantly different answers.

1 month, 1 week назад @ martinfowler.com
The DeepSeek Series: A Technical Overview
The DeepSeek Series: A Technical Overview The DeepSeek Series: A Technical Overview

All four papers revolve around a singular challenge: building ever-larger language models with minimal cost, memory overhead, and training instability.

Emergent Reasoning: In R1, large-scale Reinforcement Learning (RL) unlocks advanced chain-of-thought capabilities, culminating in “R1-Zero” and its purely RL-driven approach to reasoning tasks.

DeepSeek-R1: Reinforcement Learning for Deeper Reasoning It's worth noting that both DeepSeek R1 and DeepSeek R1-Zero are architecturally identical to DeepSeek V3 (but uses the “only-pretrained” base version).

This led them to DeepSeek-R1: an alignment pipeline combining small cold-start data, RL, rejection sampling, and more RL, to “fill in the g…

1 month, 2 weeks назад @ martinfowler.com
GenAI Patterns: RAG Limitations and Hybrid Retriever
GenAI Patterns: RAG Limitations and Hybrid Retriever GenAI Patterns: RAG Limitations and Hybrid Retriever

When to use it While this is useful in many contexts, and its usage triggered the wide excitement about using LLMs, it has some significant shortcomings.

While this approach involves evaluating with an LLM, using a different LLM helps address some of the issues of self-evaluation.

While this approach involves evaluating with an LLM, using a different LLM helps address some of the issues of self-evaluation.

The common approach is to build an index to the documents using embeddings, then use this index to search the documents.

While model context lengths are increasing, current research indicates that accuracy diminishes with larger prompts.

1 month, 2 weeks назад @ martinfowler.com
Panel at goto Copenhagen: "Where is SW development Going
Panel at goto Copenhagen: "Where is SW development Going Panel at goto Copenhagen: "Where is SW development Going

was on a panel at goto Copenhagen last September with Holly Cummings, Trisha Gee, Dave Farley, and Daniel Terhorst-North. We discussed the current state of software development and where it was heading. Given the timing, there was much discussion about the role AI would play in our profession's future.

more…

1 month, 2 weeks назад @ youtube.com
GenAI Patterns: Retrieval Augmented Generation (RAG)
GenAI Patterns: Retrieval Augmented Generation (RAG) GenAI Patterns: Retrieval Augmented Generation (RAG)

When to use it While this is useful in many contexts, and its usage triggered the wide excitement about using LLMs, it has some significant shortcomings.

While this approach involves evaluating with an LLM, using a different LLM helps address some of the issues of self-evaluation.

While this approach involves evaluating with an LLM, using a different LLM helps address some of the issues of self-evaluation.

The common approach is to build an index to the documents using embeddings, then use this index to search the documents.

While model context lengths are increasing, current research indicates that accuracy diminishes with larger prompts.

1 month, 2 weeks назад @ martinfowler.com
Retrieval Augmented Generation (RAG)
Retrieval Augmented Generation (RAG) Retrieval Augmented Generation (RAG)

When to use it While this is useful in many contexts, and its usage triggered the wide excitement about using LLMs, it has some significant shortcomings.

While this approach involves evaluating with an LLM, using a different LLM helps address some of the issues of self-evaluation.

While this approach involves evaluating with an LLM, using a different LLM helps address some of the issues of self-evaluation.

An embeddings model can take several pages of text, and convert them into a vector space for comparison.

The common approach is to build an index to the documents using embeddings, then use this index to search the documents.

1 month, 2 weeks назад @ martinfowler.com
Bliki: Forest And Desert
Bliki: Forest And Desert Bliki: Forest And Desert

The Forest and the Desert is a metaphor for thinking about software development processes, developed by Beth Anders-Beck and her father Kent Beck.

The desert is the common world of software development, where bugs are plentiful, skill isn't cultivated, and communications with users is difficult.

It is possible to change Desert into Forest, but it's difficult - often requiring people to do things that are both hard and counter-intuitive.

In this framing I'm definitely a Forest Dweller, and seek with Thoughtworks to cultivate a healthy forest for us and our clients.

I work to explain The Forest to Desert Dwellers, and help my fellow Forest Dwellers to make their forest even more plentiful.

1 month, 3 weeks назад @ martinfowler.com
Embeddings in GenAI Products
Embeddings in GenAI Products Embeddings in GenAI Products

As we move software products using generative AI technology from proof-of-concepts into production systems, we are uncovering a range of common patterns.

The pattern description ends with “✣ ✣ ✣”These patterns are our attempt to understand what we have seen in our engagements.

Running the Evals As with testing, we run evals as part of the build pipeline for a Gen-AI system.

An embeddings model can take several pages of text, and convert them into a vector space for comparison.

Embeddings in LLM LLMs are specialized neural networks known as Transformers.

1 month, 3 weeks назад @ martinfowler.com
Emerging Patterns in Building GenAI Products
Emerging Patterns in Building GenAI Products Emerging Patterns in Building GenAI Products

As we move software products using generative AI technology from proof-of-concepts into production systems, we are uncovering a range of common patterns.

Large Language Models need enhancement to provide information beyond a generic and static training set.

While this approach involves evaluating with an LLM, using a different LLM helps address some of the issues of self-evaluation.

While this approach involves evaluating with an LLM, using a different LLM helps address some of the issues of self-evaluation.

Human evaluation: Vibe checking is a technique to evaluate if the LLM responses match the desired tone, style, and intent.

1 month, 3 weeks назад @ martinfowler.com
Podcast with Luca Rossi
Podcast with Luca Rossi Podcast with Luca Rossi

We start the new podcast season with a bang, by hosting Martin Fowler!

With Martin we talked about:🤖 The Impact of AI on Software Development — from the dev process, to how human learning and understanding changes, to the future of engineering jobs.

Here is the agenda:🤖 AI's Impact on Software Development (05:05) 🌱 Growing Developers and Learning (14:17) 🏦 Understanding and Managing Technical Debt (26:03) 🌲 The Forest vs.

The Desert: Agile Practices Today (36:37) 📏 Measuring Engineering Effectiveness (45:21)Let's dive in 👇1) 🤖 AI's Impact on Software Development ( 05:05 )Martin shares his views on how AI is influencing software development, emphasizing that it's still early days and the tec…

1 month, 3 weeks назад @ refactoring.fm
Антон Жиянов Антон Жиянов
последний пост 3 months, 2 weeks назад
Say It in Russian
Say It in Russian Say It in Russian

Эмодзи-пак с текстовыми реакциями для телеграма.

3 months, 2 weeks назад @ antonz.ru
Курс «Многозадачность в Go»
Курс «Многозадачность в Go» Курс «Многозадачность в Go»

Осваиваем многозадачное программирование на практике.

8 months, 1 week назад @ antonz.ru
Таймеры в Go 1.23
Таймеры в Go 1.23 Таймеры в Go 1.23

Тут прям детективная история приключилась.

В Go есть таймер (тип Timer ), а в нем — поле с каналом ( Timer.C ), в который таймер тикает спустя указанное время.

В коде стдлибы таймер создается так:Такая реализация привела к проблемам с time.After и Reset , от которых многие страдали.

И вот в Go 1.23 решили это исправить, для чего сделали канал в таймере небуферизованным:Вот только если вы посмотрите на фактический код, то канал-то остался буферизованным 😁Из комментариев к коммиту выясняется, что канал действительно остался буферизованным, но притворяется, что никакого буфера у него нет:Specifically, the timer channel has a 1-element buffer like it always has, but len(t.C) and cap(t.C) are sp…

8 months, 2 weeks назад @ antonz.ru
Полносрезное выражение в Go
Полносрезное выражение в Go Полносрезное выражение в Go

Меняем емкость при нарезке.

8 months, 4 weeks назад @ antonz.ru
Пустой срез vs. nil-срез в Go
Пустой срез vs. nil-срез в Go Пустой срез vs. nil-срез в Go

Чем отличаются и как с ними работать.

9 months назад @ antonz.ru
Запускаем 100К горутин в Go
Запускаем 100К горутин в Go Запускаем 100К горутин в Go

Сколько можно запустить горутин и от чего это зависит.

9 months назад @ antonz.ru
Приемчики форматирования в Go
Приемчики форматирования в Go Приемчики форматирования в Go

Несколько приемов форматирования, о которых вы, возможно, не слышали.

➊ Закавыченная строкаИспользуйте %q , чтобы вывести строковое значение в кавычках.

➋ Названия полей структурыИспользуйте %+v , чтобы вывести названия полей структуры, а не только значения.

➌ Тип значенияИспользуйте %T , чтобы вывести тип значения.

9 months, 1 week назад @ antonz.ru
range по функциям в Go
range по функциям в Go range по функциям в Go

В Go 1.23 (август 2024) появится цикл range по функциям.

Сделали ему конструктор и метод Set :Хорошо, а как теперь итерироваться по карте?

Стоило ли оно тогоСтоило ли добавлять в язык range-over-func?

С появлением дженериков в 1.18 по простоте языка был нанесен серьезный удар (вероятно, оправданный).

Ждут нас и корутины, и стримы, и паттерн-матчинг.

9 months, 1 week назад @ antonz.ru
Go Generics
Go Generics Go Generics

Урок по дженерикам в Go.

9 months, 2 weeks назад @ antonz.ru
nil-получатель метода в Go
nil-получатель метода в Go nil-получатель метода в Go

Раз уж мы заговорили о пустых значениях — вы же в курсе, что метод можно вызвать даже на пустом указателе?

type english struct { name string } // e может быть nil!

func ( e * english ) greet () { if e == nil { fmt .

Println ( "I'm nil" ) return } fmt .

Println ( "Hello" , e . name ) }

9 months, 2 weeks назад @ antonz.ru
Интерфейсы и nil в Go
Интерфейсы и nil в Go Интерфейсы и nil в Go

Интерфейсы и nil в GoВнутри Go переменная типа interface представлена как пара (type, value) , где value — конкретное значение, а type — тип этого значения (на самом деле все чуть сложнее, но совсем уж в дебри не будем погружаться).

Пока интерфейсной переменной не присвоено значение, у нее и type , и value равны nil , поэтому сама переменная считается равной nil :var ivar any // type == nil, value == nil // поэтому ivar == nil fmt .

Println ( ivar == nil ) // trueНо как только интерфейсной переменной присвоили значение, type перестает быть nil .

Println ( e == nil ) // true ivar = e // type == *english, value == nil // поскольку type != nil, то ivar != nil fmt .

Println ( ivar == nil ) // f…

9 months, 2 weeks назад @ antonz.ru