Data Engineering
про инжиниринг данных и аналитику
🏢 %company% Engineering
AirBnb Engineering
последний пост 3 days, 6 hours назад
Unlocking SwiftUI at Airbnb
Unlocking SwiftUI at Airbnb Unlocking SwiftUI at Airbnb

How Airbnb adopted SwiftUI in our iOS appBryn BodayleWhen constructing an app’s user interface (UI), the choice of framework is incredibly important. The right UI framework can make an app feel smooth, responsive, even delightful, while a UI framework that doesn’t match an app’s needs can make it feel sluggish and broken. This principle extends to developer experience as well; a UI framework with well-designed APIs can enable engineers to express themselves fluently, efficiently, and correctly, while one with the wrong abstractions or inconsistent APIs can make engineers’ jobs more difficult by slowing them down with unnecessary complexity.At Airbnb, we want our mobile apps to provide a wor…

3 days, 6 hours назад @ medium.com
Riverbed: Optimizing Data Access at Airbnb’s Scale
Riverbed: Optimizing Data Access at Airbnb’s Scale Riverbed: Optimizing Data Access at Airbnb’s Scale

An overview of Airbnb’s Data Framework for faster and more reliable read-heavy workloads.By: Sivakumar Bhavanari, Krish Chainani, Victor Chen, Yanxi Chen, Xiangmin Liang, Anton Panasenko, Sonia Stan, Peggy Zheng and Amre ShakimOverviewThe evolution of Airbnb and its tech stack calls for a scalable and reliable foundation that simplifies the access and processing of complex data sets. Enter Riverbed, a data framework designed for fast read performance and high availability. In this blog series, we will introduce Riverbed, highlighting its objectives, design, and features.Why was Riverbed CreatedThe growth of Airbnb has accelerated the number of databases we operate, the variety of data types…

2 months назад @ medium.com
Chronon — A Declarative Feature Engineering Framework
Chronon — A Declarative Feature Engineering Framework Chronon — A Declarative Feature Engineering Framework

Chronon — A Declarative Feature Engineering FrameworkA framework for developing production grade features for machine learning models. The purpose of the blog is to provide an overview of core concepts in Chronon.Nikhil Simha RaproluBackgroundAirbnb uses machine learning in almost every product, from ranking search results to intelligently pricing listings and routing users to the right customer support agents.We noticed that feature management was a consistent pain point for the ML Engineers working on these projects. Rather than focusing on their models, they were spending a lot of their time gluing together other pieces of infrastructure to manage their feature data, and still encounteri…

2 months, 2 weeks назад @ medium.com
Metis: Building Airbnb’s Next Generation Data Management Platform
Metis: Building Airbnb’s Next Generation Data Management Platform Metis: Building Airbnb’s Next Generation Data Management Platform

How Airbnb evolved our data catalog into a platform for managing and governing our data warehouse at scale.By: Erik Ritter, Jiaxin Ye, Sylvia Tomiyama, Woody Zhou, Xiaobin Zheng, Zuzana VejrazkovaIntroductionAt Airbnb, millions of data assets exist in a complex ecosystem to inform our business and improve our products. The Data Management team’s mission is to empower the company to manage its data ecosystem at scale.To do this, we need an accurate understanding of all of the assets in our ecosystem and how they relate to each other. In other words, it requires accurate metadata. Our data management platform Metis, named for the Greek goddess of good counsel, is our solution to ensure that t…

3 months, 2 weeks назад @ medium.com
Improving Performance with HTTP Streaming
Improving Performance with HTTP Streaming Improving Performance with HTTP Streaming

How HTTP Streaming can improve page performance and how Airbnb enabled it on an existing codebaseBy: Victor LinIntroductionYou may have heard a joke that the Internet is a series of tubes. In this blog post, we’re going to talk about how we get a cool, refreshing stream of Airbnb.com bytes into your browser as quickly as possible using HTTP Streaming.Let’s first understand what streaming means. Imagine we had a spigot and two options:Fill a big cup, and then pour it all down the tube (the “buffered” strategy)Connect the spigot directly to the tube (the “streaming” strategy)In the buffered strategy, everything happens sequentially — our servers first generate the entire response into a buffe…

4 months, 1 week назад @ medium.com
Journey Platform: A low-code tool for creating interactive user workflows
Journey Platform: A low-code tool for creating interactive user workflows Journey Platform: A low-code tool for creating interactive user workflows

Journey Platform: Low-code notification workflow platform that allows technical and non-technical users to create complex workflows through a simple drag and drop user interface.By: Arjun Raman, Ken Snyder, Mengting LiIntroductionEffective communication hinges on delivering the right message, to the right audience, at the right time. At Airbnb, our goal is to engage our users — both guests and hosts — by delivering inspirational and informational notifications through various channels, such as email or in-app messages.Historically at Airbnb, complex notification workflows have been solely managed by engineering teams, with each workflow requiring the deployment of code. As our platform evol…

4 months, 2 weeks назад @ medium.com
Flexible Continuous Integration for iOS
Flexible Continuous Integration for iOS Flexible Continuous Integration for iOS

How Airbnb leverages AWS, Packer, and Terraform to update macOS on hundreds of CI machines in hours instead of daysBy: Michael Bachand, Xianwen ChenAt Airbnb, we run a comprehensive suite of continuous integration (CI) jobs before each iOS code change is merged. These jobs ensure that the main branch remains stable by executing critical developer workflows like building the iOS application and running tests. We also schedule jobs that perform periodic tasks like reporting metrics and uploading artifacts.Many of our iOS CI jobs execute on Macs, which enables running developer tools provided by Apple. CI jobs for all other platforms at Airbnb execute in containers on Amazon EC2 Linux instance…

4 months, 2 weeks назад @ medium.com
My Journey to Airbnb — Michael Kinoti
My Journey to Airbnb — Michael Kinoti My Journey to Airbnb — Michael Kinoti

My Journey to Airbnb — Michael KinotiSaying no to med school and following a dream all the way to Silicon ValleyBecoming a doctor and trying to make it as a DJ have both crossed Michael Kinoti’s mind at one time or another. Instead, we’re lucky to have Michael (who goes by Kinoti) as Airbnb’s Director of Engineering for the Marketing Technology team. He brings with him over 15 years of industry experience at Microsoft and Uber, as well as a global perspective from his childhood in Kenya. Kinoti is passionate about travel and having a large-scale social impact, qualities that align nicely with Airbnb’s mission and vision. Here’s Kinoti’s story in his own words.Doctor, lawyer, or engineer?Any…

5 months назад @ medium.com
Improving Istio Propagation Delay
Improving Istio Propagation Delay Improving Istio Propagation Delay

A case study in service mesh performance optimizationby: Ying ZhuIntroductionIn this article, we’ll showcase how we identified and addressed a service mesh performance problem at Airbnb, providing insights into the process of troubleshooting service mesh issues.BackgroundAt Airbnb, we use a microservices architecture, which requires efficient communication between services. Initially, we developed a homegrown service discovery system called Smartstack exactly for this purpose. As the company grew, however, we encountered scalability issues¹. To address this, in 2019, we invested in a modern service mesh solution called AirMesh, built on the open-source Istio software. Currently, over 90% of…

6 months назад @ medium.com
Building Airbnb Categories with ML & Human in the Loop
Building Airbnb Categories with ML & Human in the Loop Building Airbnb Categories with ML & Human in the Loop

Airbnb Categories Blog Series — Part II : ML Categorizationby: Mihajlo Grbovic, Pei Xiong, Pratiksha Kadam, Ying Xiao, Sherry Chen, Weiping Peng, Shukun Yang, Chen Qian, Haowei Zhang, Sebastien Dubois, Nate Ney, James Furnary, Mark Giangreco, Nate Rosenthal, Cole Baker, Aaron Yin, Bill Ulammandakh, Shankar Shetty, Sid Reddy, Egor PakhomovAirbnb 2022 release introduced Categories, a browse focused product that allows the user to seek inspiration by browsing collections of homes revolving around a common theme, such as Lakefront, Countryside, Golf, Desert, National Parks, Surfing, etc. In Part I of our Categories Blog Series we covered the high level approach to creating Categories and showca…

6 months назад @ medium.com
Prioritizing Home Attributes Based on Guest Interest
Prioritizing Home Attributes Based on Guest Interest Prioritizing Home Attributes Based on Guest Interest

How Airbnb leverages ML to derive guest interest from unstructured text data and provide personalized recommendations to HostsBy: Joy Jing and Jing XiaAt Airbnb, we endeavor to build a world where anyone can belong anywhere. We strive to understand what our guests care about and match them with Hosts who can provide what they are looking for. What better source for guest preferences than the guests themselves?We built a system called the Attribute Prioritization System (APS) to listen to our guests’ needs in a home: What are they requesting in messages to Hosts? What are they commenting on in reviews? What are common requests when calling customer support? And how does it differ by the home…

7 months, 1 week назад @ medium.com
Netflix Engineering Netflix Engineering
последний пост 3 weeks, 5 days назад
Zero Configuration Service Mesh with On-Demand Cluster Discovery
Zero Configuration Service Mesh with On-Demand Cluster Discovery Zero Configuration Service Mesh with On-Demand Cluster Discovery

by David Vroom, James Mulcahy, Ling Yuan, Rob GulewichIn this post we discuss Netflix’s adoption of service mesh: some history, motivations, and how we worked with Kinvolk and the Envoy community on a feature that streamlines service mesh adoption in complex microservice environments: on-demand cluster discovery.A brief history of IPC at NetflixNetflix was early to the cloud, particularly for large-scale companies: we began the migration in 2008, and by 2010, Netflix streaming was fully run on AWS. Today we have a wealth of tools, both OSS and commercial, all designed for cloud-native environments. In 2010, however, nearly none of it existed: the CNCF wasn’t formed until 2015! Since there w…

3 weeks, 5 days назад @ netflixtechblog.com
AVA Discovery View: Surfacing Authentic Moments
AVA Discovery View: Surfacing Authentic Moments AVA Discovery View: Surfacing Authentic Moments

By: Hamid Shahid, Laura Johnson, Tiffany LowSynopsisAt Netflix, we have created millions of artwork to represent our titles. Each artwork tells a story about the title it represents. From our testing on promotional assets, we know which of these assets have performed well and which ones haven’t. Through this, our teams have developed an intuition of what visual and thematic artwork characteristics work well for what genres of titles. A piece of promotional artwork may resonate more in certain regions, for certain genres, or for fans of particular talent. The complexity of these factors makes it difficult to determine the best creative strategy for upcoming titles.Our assets are often create…

1 month, 1 week назад @ netflixtechblog.com
Curbing Connection Churn in Zuul
Curbing Connection Churn in Zuul Curbing Connection Churn in Zuul

By Arthur Gonigberg, Argha CPlaintext PastWhen Zuul was designed and developed, there was an inherent assumption that connections were effectively free, given we weren’t using mutual TLS (mTLS). It’s built on top of Netty, using event loops for non-blocking execution of requests, one loop per core. To reduce contention among event loops, we created connection pools for each, keeping them completely independent. The result is that the entire request-response cycle happens on the same thread, significantly reducing context switching.There is also a significant downside. It means that if each event loop has a connection pool that connects to every origin (our name for backend) server, there wo…

1 month, 1 week назад @ netflixtechblog.com
Detecting Scene Changes in Audiovisual Content
Detecting Scene Changes in Audiovisual Content Detecting Scene Changes in Audiovisual Content

Avneesh Saluja, Andy Yao, Hossein TaghaviIntroductionWhen watching a movie or an episode of a TV show, we experience a cohesive narrative that unfolds before us, often without giving much thought to the underlying structure that makes it all possible. However, movies and episodes are not atomic units, but rather composed of smaller elements such as frames, shots, scenes, sequences, and acts. Understanding these elements and how they relate to each other is crucial for tasks such as video summarization and highlights detection, content-based video retrieval, dubbing quality assessment, and video editing. At Netflix, such workflows are performed hundreds of times a day by many teams around th…

3 months назад @ netflixtechblog.com
Migrating Netflix to GraphQL Safely
Migrating Netflix to GraphQL Safely Migrating Netflix to GraphQL Safely

By Jennifer Shin, Tejas Shikhare, Will EmmanuelIn 2022, a major change was made to Netflix’s iOS and Android applications. We migrated Netflix’s mobile apps to GraphQL with zero downtime, which involved a total overhaul from the client to the API layer.Until recently, an internal API framework, Falcor, powered our mobile apps. They are now backed by Federated GraphQL, a distributed approach to APIs where domain teams can independently manage and own specific sections of the API.Doing this safely for 100s of millions of customers without disruption is exceptionally challenging, especially considering the many dimensions of change involved. This blog post will share broadly-applicable techniq…

3 months, 1 week назад @ netflixtechblog.com
Migrating Critical Traffic At Scale with No Downtime — Part 2
Migrating Critical Traffic At Scale with No Downtime — Part 2 Migrating Critical Traffic At Scale with No Downtime — Part 2

Migrating Critical Traffic At Scale with No Downtime — Part 2Shyam Gala, Javier Fernandez-Ivern, Anup Rokkam Pratap, Devang ShahPicture yourself enthralled by the latest episode of your beloved Netflix series, delighting in an uninterrupted, high-definition streaming experience. Behind these perfect moments of entertainment is a complex mechanism, with numerous gears and cogs working in harmony. But what happens when this machinery needs a transformation? This is where large-scale system migrations come into play. Our previous blog post presented replay traffic testing — a crucial instrument in our toolkit that allows us to implement these transformations with precision and reliability.Repl…

3 months, 1 week назад @ netflixtechblog.com
Escrow Buddy: An open-source tool from Netflix for remediation of missing FileVault keys in MDM
Escrow Buddy: An open-source tool from Netflix for remediation of missing FileVault keys in MDM Escrow Buddy: An open-source tool from Netflix for remediation of missing FileVault keys in MDM

Netflix has open-sourced Escrow Buddy, which helps Security and IT teams ensure they have valid FileVault recovery keys for all their Macs in MDM.To be a client systems engineer is to take joy in small endpoint automations that make your fellow employees’ day a little better. When somebody is unable to log into their FileVault-encrypted Mac, few words are more joyful to hear than a support technician saying, “I’ve got your back. Let’s look up the recovery key.”Securely and centrally escrowing FileVault personal recovery keys is one of many capabilities offered by Mobile Device Management (MDM). A configuration profile that contains the FDERecoveryKeyEscrow payload will cause any new recover…

3 months, 2 weeks назад @ netflixtechblog.com
Native Frame Rate Playback
Native Frame Rate Playback Native Frame Rate Playback

by Akshay Garg, Roger QueroIntroductionMaximizing immersion for our members is an important goal for the Netflix product and engineering teams to keep our members entertained and fully engaged in our content. Leveraging a good mix of mature and cutting-edge client device technologies to deliver a smooth playback experience with glitch-free in-app transitions is an important step towards achieving this goal. In this article we explain our journey towards productizing a better viewing experience for our members by utilizing features and capabilities in consumer streaming devices.If you have a streaming device connected to your TV, such as a Roku Set Top Box (STB) or an Amazon FireTV Stick, yo…

3 months, 3 weeks назад @ netflixtechblog.com
Ensuring the Successful Launch of Ads on Netflix
Ensuring the Successful Launch of Ads on Netflix Ensuring the Successful Launch of Ads on Netflix

By Jose Fernandez, Ed Barker, Hank JacobsIntroductionIn November 2022, we introduced a brand new tier — Basic with ads. This tier extended existing infrastructure by adding new backend components and a new remote call to our ads partner on the playback path. As we were gearing up for launch, we wanted to ensure it would go as smoothly as possible. To do this, we devised a novel way to simulate the projected traffic weeks ahead of launch by building upon the traffic migration framework described here. We used this simulation to help us surface problems of scale and validate our Ads algorithms.Basic with ads was launched worldwide on November 3rd. In this blog post, we’ll discuss the methods …

3 months, 3 weeks назад @ netflixtechblog.com
Debugging a FUSE deadlock in the Linux kernel
Debugging a FUSE deadlock in the Linux kernel Debugging a FUSE deadlock in the Linux kernel

Tycho AndersenThe Compute team at Netflix is charged with managing all AWS and containerized workloads at Netflix, including autoscaling, deployment of containers, issue remediation, etc. As part of this team, I work on fixing strange things that users report.This particular issue involved a custom internal FUSE filesystem: ndrive. It had been festering for some time, but needed someone to sit down and look at it in anger. This blog post describes how I poked at /procto get a sense of what was going on, before posting the issue to the kernel mailing list and getting schooled on how the kernel’s wait code actually works!Symptom: Stuck Docker Kill & A Zombie ProcessWe had a stuck docker API c…

4 months, 1 week назад @ netflixtechblog.com
ABAC on SpiceDB: Enabling Netflix’s Complex Identity Types
ABAC on SpiceDB: Enabling Netflix’s Complex Identity Types ABAC on SpiceDB: Enabling Netflix’s Complex Identity Types

By Chris Wolfe, Joey Schorr, and Victor Roldán BetancortIntroductionThe authorization team at Netflix recently sponsored work to add Attribute Based Access Control (ABAC) support to AuthZed’s open source Google Zanzibar inspired authorization system, SpiceDB. Netflix required attribute support in SpiceDB to support core Netflix application identity constructs. This post discusses why Netflix wanted ABAC support in SpiceDB, how Netflix collaborated with AuthZed, the end result–SpiceDB Caveats, and how Netflix may leverage this new feature.Netflix is always looking for security, ergonomic, or efficiency improvements, and this extends to authorization tools. Google Zanzibar is exciting to Netf…

4 months, 1 week назад @ netflixtechblog.com
Pinterest Engineering
последний пост 4 days, 7 hours назад
Building for Inclusivity: The Technical Blueprint of Pinterest’s Multidimensional Diversification
Building for Inclusivity: The Technical Blueprint of Pinterest’s Multidimensional Diversification Building for Inclusivity: The Technical Blueprint of Pinterest’s Multidimensional Diversification

Pedro Silva | Sr. ML Engineer & Inclusive AI Tech Lead; Bhawna Juneja | Sr. Machine Learning Engineer; Rohan Mahadev | Machine Learning Engineer II; Sujay Khandagale | Machine Learning Engineer II; Abhay Varmaraja | Machine Learning Engineer IIPinterest’s mission as a company is to bring everyone the inspiration to create a life they love. “Everyone” has been the north star for our Inclusive AI and Inclusive Product teams. These teams work together to ensure algorithmic fairness, inclusive design, and representation are an integral part of our platform and product experience.Our commitment is evidenced by our history of building products that champion inclusivity. In 2018, Pinterest announc…

4 days, 7 hours назад @ medium.com
Last Mile Data Processing with Ray
Last Mile Data Processing with Ray Last Mile Data Processing with Ray

Raymond Lee | Software Engineer II; Qingxian Lai | Sr. Software Engineer; Karthik Anantha Padmanabhan | Manager II, Engineering; Se Won Jang | Manager II, EngineeringPhoto by Claudio Schwarz on UnsplashOur mission at Pinterest is to bring everyone the inspiration to create the life they love. Machine Learning plays a crucial role in this mission. It allows us to continuously deliver high-quality inspiration to our 460 million monthly active users, curated from billions of pins on our platform. Behind the scenes, hundreds of ML engineers iteratively improve a wide range of recommendation engines that power Pinterest, processing petabytes of data and training thousands of models using hundred…

1 week, 5 days назад @ medium.com
MLEnv: Standardizing ML at Pinterest Under One ML Engine to Accelerate Innovation
MLEnv: Standardizing ML at Pinterest Under One ML Engine to Accelerate Innovation MLEnv: Standardizing ML at Pinterest Under One ML Engine to Accelerate Innovation

Pong Eksombatchai | Principal Engineer; Karthik Anantha Padmanabhan | Manager II, EngineeringImage from https://unsplash.com/photos/w7ZyuGYNpRQPinterest’s mission is to bring everyone the inspiration to create a life they love. We rely on an extensive suite of AI powered products to connect over 460M users to hundreds of billions of Pins, resulting in hundreds of millions of ML inferences per second, hundreds of thousands of ML training jobs per month by just a couple of hundreds of ML engineers.In 2021, ML was siloed at Pinterest with 10+ different ML frameworks relying on different deep learning frameworks, framework versions, and boilerplate logic to connect with our ML platform. It was …

2 weeks, 5 days назад @ medium.com
Create the engineering career you love at Pinterest
Create the engineering career you love at Pinterest Create the engineering career you love at Pinterest

An interview with Behnam Rezaei | Pinterest VP, EngineeringAt Pinterest, we’re on a mission to bring everyone the inspiration to create a life they love. For our employees, this extends further to creating the life and career they love. The Pinterest Engineering Blog team sat down with Behnam Rezaei to get an inside scoop into the Monetization Engineering team, what makes Pinterest different and why now is a great time to join our team.Joining Pinterest in March 2023, Behnam Rezaei is Pinterest’s VP for Monetization — Machine Learning Engineering and Data Science based in San Francisco.Can you share more about your team at Pinterest?What’s the goal of the team? What are the biggest opportun…

1 month, 3 weeks назад @ medium.com
Securely Scaling Big Data Access Controls At Pinterest
Securely Scaling Big Data Access Controls At Pinterest Securely Scaling Big Data Access Controls At Pinterest

Soam Acharya | Data Engineering Oversight; Keith Regier | Data Privacy Engineering ManagerBackgroundBusinesses collect many different types of data. Each dataset needs to be securely stored with minimal access granted to ensure they are used appropriately and can easily be located and disposed of when necessary. As businesses grow, so does the variety of these datasets and the complexity of their handling requirements. Consequently, access control mechanisms also need to scale constantly to handle the ever-increasing diversification. Pinterest decided to invest in a newer technical framework to implement a finer grained access control (FGAC) framework. The result is a multi-tenant Data Engi…

2 months назад @ medium.com
Analyzing Time Series for Pinterest Observability
Analyzing Time Series for Pinterest Observability Analyzing Time Series for Pinterest Observability

Brian Overstreet | Software Engineer, Observability; Humsheen Geo | Software Engineer, ObservabilityTime series is a critical part of Observability at Pinterest, powering 60,000 alerts and 5,000 dashboards. A time series is an identifier with values where the values are associated with a timestamp. Given the widespread use and critical nature of time series, it’s important to give engineers the ability to adequately express what operations to perform on the time series in a readable, understandable, and efficient manner. In this post, we will cover the background of time series at Pinterest, the goals of designing an expressive time series language, and some examples of how we are using thi…

2 months, 1 week назад @ medium.com
Tuning Flink Clusters for Stability and Efficiency
Tuning Flink Clusters for Stability and Efficiency Tuning Flink Clusters for Stability and Efficiency

Divye, Teja, Chen, Sam, Lu, Heng, Kanchi, Rainie, Dinesh, Ashish, Nishant, Pooja | Stream Processing Platform Team | Big Data Systems SRE TeamAt Pinterest, stream data processing powers a wide range of real-time use cases. Our Flink clusters are multitenant and run jobs that concurrently process more than 20M msgs/sec across 12 clusters. Over the course of 2022 and early 2023, we’ve spent a significant period of time optimizing our Flink runtime environment and cluster configurations, and we’d like to share our learnings with you.The quick takeaways?We’ve reduced our costs for the Stream Processing Platform by 40% while increasing the number of onboarded jobs on our platform by 40%Our typic…

2 months, 2 weeks назад @ medium.com
Deep Multi-task Learning and Real-time Personalization for Closeup Recommendations
Deep Multi-task Learning and Real-time Personalization for Closeup Recommendations Deep Multi-task Learning and Real-time Personalization for Closeup Recommendations

Haomiao Li | Software Engineer, Closeup Ranking & Blending; Travis Ebesu | Software Engineer, Closeup Ranking & Blending; Fan Jiang | Software Engineer, Closeup Candidates; Jay Adams | Software Engineer, Pinner Growth & Signals; Olafur Gudmundsson | Software Engineer, Pinner Discovery; Yan Sun | Engineering Manager, Closeup Ranking & Blending; Huizhong Duan | Engineering Manager, Closeup RelevanceIntroductionAt Pinterest, Closeup recommendations (aka Related Pins) is typically a feed of recommended content (primarily Pins) that we serve on any pin closeup. Closeup recommendations generate the largest amount of impressions among all recommendation surfaces at Pinterest and are uniquely criti…

3 months, 1 week назад @ medium.com
Representation online matters: practical end-to-end diversification in search and recommender…
Representation online matters: practical end-to-end diversification in search and recommender… Representation online matters: practical end-to-end diversification in search and recommender…

Representation online matters: practical end-to-end diversification in search and recommender systemsBhawna Juneja | Senior Machine Learning Engineer; Pedro Silva | Senior Machine Learning Engineer; Shloka Desai | Machine Learning Engineer II; Ashudeep Singh | Machine Learning Engineer II; Nadia Fawaz | (former) Inclusive AI Tech LeadIntroductionPinterest is a platform designed to bring everyone the inspiration to create a life they love. This is not only our company’s core mission but something that has become increasingly important in today’s interconnected world. As technology becomes increasingly integrated into the daily lives of billions of people globally, it is crucial for online pl…

4 months назад @ medium.com
Pacer: Pinterest’s New Generation of Asynchronous Computing Platform
Pacer: Pinterest’s New Generation of Asynchronous Computing Platform Pacer: Pinterest’s New Generation of Asynchronous Computing Platform

Qi Li | Software Engineer, Core-Services; Zhihuang Chen | Software Engineer, Core-Services; Ping Jin | Engineer manager, Core ServicesAt Pinterest, a wide range of functionalities and features for various business needs and products are supported by an asynchronous job execution platform called Pinlater, which was open-sourced a few years ago. Use cases on the platform span from saving Pins by Pinners, to notifying Pinners about various updates, to processing images/videos etc. Pinlater handles billions of job executions on a daily basis. The platform supports many desirable features, like at-least-once semantics, job scheduling for future execution, and dequeuing/processing speed control o…

4 months назад @ medium.com
Warden: Real Time Anomaly Detection at Pinterest
Warden: Real Time Anomaly Detection at Pinterest Warden: Real Time Anomaly Detection at Pinterest

Isabel Tallam | Sw Eng, Real Time Analytics; Charles Wu | Sw Eng, Real Time Analytics; Kapil Bajaj | Eng Manager, Real Time AnalyticsDetecting anomalous events has been becoming increasingly important in recent years at Pinterest. Anomalous events, broadly defined, are rare occurrences that deviate from normal or expected behavior. Because these types of events can be found almost anywhere, opportunities and applications for anomaly detection are vast. At Pinterest, we have explored leveraging anomaly detection, specifically our Warden Anomaly Detection Platform, for several use cases (which we’ll get into in this post). With the positive results we are seeing, we are planning to continue t…

4 months, 1 week назад @ medium.com
An ML based approach to proactive advertiser churn prevention
An ML based approach to proactive advertiser churn prevention An ML based approach to proactive advertiser churn prevention

Erika Sun ML Engineer | Advertiser Growth Modeling Team; Ogheneovo Dibie Engineering Manager | Advertiser Growth Modeling TeamPhoto by Jason Blackeye on UnsplashSummaryIn this blog post, we describe a Machine Learning (ML) powered proactive churn prevention solution that was prototyped with our small & medium business (SMB) advertisers. Results from our initial experiment suggest that we can detect future churn with a high degree of predictive power and consequently empower our sales partners in mitigating churn. ML-powered proactive churn prevention can achieve better results than traditional reactive manual effort.IntroductionLike many ads-based businesses, at Pinterest, we are intently f…

4 months, 2 weeks назад @ medium.com
Large-scale User Sequences at Pinterest
Large-scale User Sequences at Pinterest Large-scale User Sequences at Pinterest

User Understanding team: Zefan Fu, Minzhe Zhou, Neng Gu, Leo Zhang, Kimmie Hua, Sufyan Suliman | Software Engineer, Yitong Zhou | Software Engineering ManagerIndex Core Entity team: Dumitru Daniliuc, Jisong Liu, Kangnan Li | Software Engineer, Shunping Chiu | Software Engineering ManagerUnderstanding and responding to user actions and preferences is critical to delivering a personalized, high quality user experience. In this blog post, we’ll discuss how multiple teams joined together to build a new large-scale, highly-flexible, and cost-efficient user signal platform service, which indexes the relevant user events in near real-time, constructs them into user sequences, and makes it super ea…

4 months, 3 weeks назад @ medium.com
Facebook
последний пост 2 weeks, 3 days назад
Using Chakra execution traces for benchmarking and network performance optimization
Using Chakra execution traces for benchmarking and network performance optimization

Meta presents Chakra execution traces, an open graph-based representation of AI/ML workload execution, laying the foundation for benchmarking and network performance optimization. Chakra execution traces represent key operations, such as compute, memory, and communication, data and control dependencies, timing, and resource constraints. In collaboration with MLCommons, we are seeking industry-wide adoption for benchmarking. Meta open [...]

Read More...

The post Using Chakra execution traces for benchmarking and network performance optimization appeared first on Engineering at Meta.

2 weeks, 3 days назад @ engineering.fb.com
Arcadia: An end-to-end AI system performance simulator
Arcadia: An end-to-end AI system performance simulator

We’re introducing Arcadia, Meta’s unified system that simulates the compute, memory, and network performance of AI training clusters. Extracting maximum performance from an AI cluster and increasing overall efficiency warrants a multi-input system that accounts for various hardware and software parameters across compute, storage, and network collectively. Arcadia gives Meta’s researchers and engineers valuable insights [...]

Read More...

The post Arcadia: An end-to-end AI system performance simulator appeared first on Engineering at Meta.

2 weeks, 3 days назад @ engineering.fb.com
Code Llama: Meta’s state-of-the-art LLM for coding
Code Llama: Meta’s state-of-the-art LLM for coding

[...]

Read More...

The post Code Llama: Meta’s state-of-the-art LLM for coding appeared first on Engineering at Meta.

1 month назад @ ai.meta.com
Meta Connect 2023: September 27 – 28
Meta Connect 2023: September 27 – 28

[...]

Read More...

The post Meta Connect 2023: September 27 – 28 appeared first on Engineering at Meta.

1 month, 1 week назад @ meta.com
Scaling the Instagram Explore recommendations system
Scaling the Instagram Explore recommendations system

Explore is one of the largest recommendation systems on Instagram. We leverage machine learning to make sure people are always seeing content that is the most interesting and relevant to them. Using more advanced machine learning models, like Two Towers neural networks, we’ve been able to make the Explore recommendation system even more scalable and [...]

Read More...

The post Scaling the Instagram Explore recommendations system appeared first on Engineering at Meta.

1 month, 2 weeks назад @ engineering.fb.com
MSVP is Meta’s first video processing ASIC
MSVP is Meta’s first video processing ASIC

[...]

Read More...

The post MSVP is Meta’s first video processing ASIC appeared first on Engineering at Meta.

4 months, 1 week назад @ ai.facebook.com
Meta introduces its first-generation AI inference accelerator
Meta introduces its first-generation AI inference accelerator

[...]

Read More...

The post Meta introduces its first-generation AI inference accelerator appeared first on Engineering at Meta.

4 months, 1 week назад @ ai.facebook.com
Uber Engineering
последний пост None
Spotify Engineering Spotify Engineering
последний пост 1 month назад
Encouragement Designs and Instrumental Variables for A/B Testing
Encouragement Designs and Instrumental Variables for A/B Testing

At Spotify, we run a lot of A/B tests. Most of these tests follow a standard design, where we assign users randomly to control and treatment groups, and then observe the difference in outcomes between these two groups. Usually, the control group, also known as the “holdout” group, retains the current experience, while the treatment [...]

The post Encouragement Designs and Instrumental Variables for A/B Testing appeared first on Spotify Engineering.

1 month назад @ engineering.atspotify.com
Experimentation at Spotify: Three Lessons for Maximizing Impact in Innovation
Experimentation at Spotify: Three Lessons for Maximizing Impact in Innovation

As companies mature, it’s easy to believe that the core experience and most user needs have been resolved, and all that’s left to work toward are the marginal benefits, the cherries on top. Cherries on top might add delight and panache, but they rarely cause fundamental shifts in performance and success. And as a business, [...]

The post Experimentation at Spotify: Three Lessons for Maximizing Impact in Innovation appeared first on Spotify Engineering.

1 month, 1 week назад @ engineering.atspotify.com
Coming Soon: Confidence — An Experimentation Platform from Spotify
Coming Soon: Confidence — An Experimentation Platform from Spotify

TL;DR: Spotify is releasing a new commercial product for software development teams: a version of our homegrown experimentation platform that we’re calling Confidence. Based on everything we’ve learned over the last 10+ years about what it takes to enable experimentation at scale, the platform makes it easy for teams to set up, run, coordinate, and [...]

The post Coming Soon: Confidence — An Experimentation Platform from Spotify appeared first on Spotify Engineering.

1 month, 3 weeks назад @ engineering.atspotify.com
Bringing Sequential Testing to Experiments with Longitudinal Data (Part 2): Sequential Testing
Bringing Sequential Testing to Experiments with Longitudinal Data (Part 2): Sequential Testing

In Part 1 of this series, we introduced the within-unit peeking problem that we call the “peeking problem 2.0”. We showed that moving from single to multiple observations per unit in analyses of experiments introduces new challenges and pitfalls with regards to sequential testing. We discussed the importance of being clear about the distinctions between [...]

The post Bringing Sequential Testing to Experiments with Longitudinal Data (Part 2): Sequential Testing appeared first on Spotify Engineering.

2 months назад @ engineering.atspotify.com
Bringing Sequential Testing to Experiments with Longitudinal Data (Part 1): The Peeking Problem 2.0
Bringing Sequential Testing to Experiments with Longitudinal Data (Part 1): The Peeking Problem 2.0

Spotify’s approach to challenges in sequential testing with longitudinal data At Spotify, we’re constantly improving our data infrastructure, which means we can get feedback on experiments earlier and earlier. To allow for early feedback in a risk-managed manner, we use sequential tests to monitor regressions in the experiments. However, when moving toward smaller and smaller [...]

The post Bringing Sequential Testing to Experiments with Longitudinal Data (Part 1): The Peeking Problem 2.0 appeared first on Spotify Engineering.

2 months, 1 week назад @ engineering.atspotify.com
Ripple Engineering Ripple Engineering
последний пост None
Dmitry Anoshin recommends
Snowflake
последний пост 3 days, 1 hour назад
How Leaders of the Modern Marketing Data Stack Differentiate Themselves in a Crowded Market
How Leaders of the Modern Marketing Data Stack Differentiate Themselves in a Crowded Market

The marketing technology landscape has exploded in the last decade. With over 11,000 available solutions, an increase of 7,258% over the last 12 years, marketing organizations have never had more tool options to choose from. In this post, we’ll take a look at how leading vendors in the 2023 Modern Marketing Data Stack are differentiating […]

The post How Leaders of the Modern Marketing Data Stack Differentiate Themselves in a Crowded Market appeared first on Snowflake.

3 days, 1 hour назад @ snowflake.com
Streamlit in Snowflake: Build Python data apps on the Data Cloud
Streamlit in Snowflake: Build Python data apps on the Data Cloud

As data continues to become more complex, it is critical to have effective ways to present this information. With the explosion of AI/ML, users want to be able to interact with their data and ML models. However, building such data apps has not been easy. Any data practitioner or product owner will attest to how […]

The post Streamlit in Snowflake: Build Python data apps on the Data Cloud appeared first on Snowflake.

6 days, 3 hours назад @ snowflake.com
Marketing Success in the Age of AI Requires a Modern Marketing Data Stack
Marketing Success in the Age of AI Requires a Modern Marketing Data Stack

Data is essential to marketing. It’s how we know our audience and measure campaign outcomes. It shows us where to adjust a campaign on the fly, for even better results. But working with data is increasingly complex, and having the right stack of technologies is invaluable. To help marketers understand the rapidly changing world of […]

The post Marketing Success in the Age of AI Requires a Modern Marketing Data Stack appeared first on Snowflake.

1 week, 3 days назад @ snowflake.com
Power Holistic Customer Insights with Salesforce and Snowflake Data Sharing-Based Integration
Power Holistic Customer Insights with Salesforce and Snowflake Data Sharing-Based Integration

Snowflake and Salesforce have built on our existing partnership to unify the full breadth of customer and business data and generate actionable insights for our customers. We are happy to announce the general availability of Bring Your Own Lake (BYOL) Data Sharing with the Snowflake Data Cloud from Salesforce Data Cloud. Organizations can now leverage […]

The post Power Holistic Customer Insights with Salesforce and Snowflake Data Sharing-Based Integration appeared first on Snowflake.

1 week, 4 days назад @ snowflake.com
6 Tips for Setting the Price of Your Data Product
6 Tips for Setting the Price of Your Data Product

Building your data product is only the beginning. You’ve considered a wide variety of use cases, and settled on the one you’ll focus on. Maybe you’re going to help hospitals predict emergency room visits and optimize their staffing. Or you’re going to enable restaurants to reduce their food waste. Or maybe you just have some […]

The post 6 Tips for Setting the Price of Your Data Product appeared first on Snowflake.

1 week, 4 days назад @ snowflake.com
New Snowflake Features Released in August 2023
New Snowflake Features Released in August 2023

In August, Snowflake released new features around Snowpark for Python, DevOps, pipeline replication, and more. Read on to learn more about the full set of features that were just announced. Snowpark Python Updates Snowpark support for Python 3.9 and 3.10 – general availability Python versions 3.9 and 3.10 in Snowpark are now generally available, including […]

The post New Snowflake Features Released in August 2023 appeared first on Snowflake.

1 week, 4 days назад @ snowflake.com
Understanding Snowflake’s Shared Responsibility Model
Understanding Snowflake’s Shared Responsibility Model

The White House recently released the first National Cybersecurity Strategy, which among other things, holds the stewards of data accountable and shifts liability for insecure software products and services away from end users and toward vendors that are capable of taking actions to prevent bad outcomes. We are thrilled to announce both the availability of […]

The post Understanding Snowflake’s Shared Responsibility Model appeared first on Snowflake.

1 week, 5 days назад @ snowflake.com
Data Cloud Industry Day 2023: Your Event Guide
Data Cloud Industry Day 2023: Your Event Guide

The first annual Data Cloud Industry Day is here! Data Cloud Industry Day 2023 is a free virtual event on September 28, 2023, dedicated to what’s possible for you and your industry in the world of data. From leading-edge innovations to seamless solutions to your toughest industry-specific challenges, Industry Day provides the insights and information […]

The post Data Cloud Industry Day 2023: Your Event Guide appeared first on Snowflake.

1 week, 5 days назад @ snowflake.com
Complying with Quebec’s Data Privacy Laws Is Easier with the Data Cloud
Complying with Quebec’s Data Privacy Laws Is Easier with the Data Cloud

Data privacy regulations are sweeping across the globe, with some 71% of countries worldwide adopting data protection and privacy legislation. This wide adoption of legislation requires organizations that store or process personally identifiable information (PII) to have greater control over that data, and better transparency about how they store it. The European Union’s General Data […]

The post Complying with Quebec’s Data Privacy Laws Is Easier with the Data Cloud appeared first on Snowflake.

1 week, 6 days назад @ snowflake.com
Dynamic Tables for Data Vault
Dynamic Tables for Data Vault

How experimenting with Dynamic Tables on Snowflake led to improvements in the Data Vault patterns. We have seen enormous interest in Dynamic Tables for Snowflake. So what exactly are Dynamic Tables and where should they fit into your Data Vault architecture? As a reminder, these are the Data Vault table types: And these are the […]

The post Dynamic Tables for Data Vault appeared first on Snowflake.

1 week, 6 days назад @ snowflake.com
The University of Birmingham Strives to Graduate to a Data-Centric Culture with Snowflake
The University of Birmingham Strives to Graduate to a Data-Centric Culture with Snowflake

Higher education institutions have a lot of plates to spin, and the University of Birmingham is no exception. Following a tough pandemic, the need to digitally transform had never been more pressing. The university needed to modernize its data capabilities to better serve staff, students and researchers—and it used the Snowflake Data Cloud to do […]

The post The University of Birmingham Strives to Graduate to a Data-Centric Culture with Snowflake appeared first on Snowflake.

2 weeks, 3 days назад @ snowflake.com
Securely Connect to LLMs and Other External Services from Snowpark
Securely Connect to LLMs and Other External Services from Snowpark

Snowpark is the set of libraries and runtimes that enables data engineers, data scientists and developers to build data engineering pipelines, ML workflows, and data applications in Python, Java, and Scala. Functions or procedures written by users in these languages are executed inside of Snowpark’s secure sandbox environment, which runs on the warehouse. As part […]

The post Securely Connect to LLMs and Other External Services from Snowpark appeared first on Snowflake.

2 weeks, 3 days назад @ snowflake.com
4 Steps to Shopper 360 Success for Retailers and Consumer Goods Brands
4 Steps to Shopper 360 Success for Retailers and Consumer Goods Brands

In today’s hyper-connected world of retail and consumer goods, understanding the customer journey is more critical than ever. As digital disruption and evolving customer expectations continue to shape the future of these sectors, organizations are striving to achieve ‘Shopper 360,’ a comprehensive and integrated view of their shoppers that is the retail equivalent of ‘Customer […]

The post 4 Steps to Shopper 360 Success for Retailers and Consumer Goods Brands appeared first on Snowflake.

2 weeks, 4 days назад @ snowflake.com
Snowpark ML: The ‘Easy Button’ for Open Source LLM Deployment in Snowflake
Snowpark ML: The ‘Easy Button’ for Open Source LLM Deployment in Snowflake

Companies want to train and use large language models (LLMs) with their own proprietary data. Open source generative models such as Meta’s Llama 2 are pivotal in making that possible. The next hurdle is finding a platform to harness the power of LLMs. Snowflake lets you apply near-magical generative AI transformations to your data all […]

The post Snowpark ML: The ‘Easy Button’ for Open Source LLM Deployment in Snowflake appeared first on Snowflake.

2 weeks, 5 days назад @ snowflake.com
Unifying Iceberg Tables on Snowflake
Unifying Iceberg Tables on Snowflake

Apache Iceberg continues to grow in popularity as the industry standard for open table formats. Because of its leading ecosystem of diverse adopters, contributors and commercial offerings, Iceberg helps prevent storage lock-in and eliminates the need to move or copy tables between different systems, which often translates to lower compute and storage costs for your […]

The post Unifying Iceberg Tables on Snowflake appeared first on Snowflake.

3 weeks, 3 days назад @ snowflake.com
Cloudera Cloudera
последний пост 5 months, 1 week назад
Using Dead Letter Queues with SQL Stream Builder
Using Dead Letter Queues with SQL Stream Builder

What is a dead letter queue (DLQ)? Cloudera SQL Stream builder gives non-technical users the power of a unified stream processing engine so they can integrate, aggregate, query, and analyze both streaming and batch data sources in a single SQL interface. This allows business users to define events of interest for which they need to […]

The post Using Dead Letter Queues with SQL Stream Builder appeared first on Cloudera Blog.

5 months, 1 week назад @ blog.cloudera.com
Trusted Data: Alchemy For Misinformation
Trusted Data: Alchemy For Misinformation

CDO Spotlight

The post Trusted Data: Alchemy For Misinformation appeared first on Cloudera Blog.

6 months назад @ blog.cloudera.com
Materialized Views in SQL Stream Builder
Materialized Views in SQL Stream Builder

What are materialized views and how to configure them

The post Materialized Views in SQL Stream Builder appeared first on Cloudera Blog.

6 months назад @ blog.cloudera.com
Implementing and Using UDFs in Cloudera SQL Stream Builder
Implementing and Using UDFs in Cloudera SQL Stream Builder

Developing and using custom User Defined Functions on SSB

The post Implementing and Using UDFs in Cloudera SQL Stream Builder appeared first on Cloudera Blog.

7 months назад @ blog.cloudera.com
Job Notifications in SQL Stream Builder
Job Notifications in SQL Stream Builder

Special co-author credits: Adam Andras Toth, Software Engineer Intern With enterprises’ needs for data analytics and processing getting more complex by the day, Cloudera aims to keep up with these needs, offering constantly evolving, cutting-edge solutions to all your data related problems. Cloudera Stream Processing aims to take real-time data analytics to the next level. […]

The post Job Notifications in SQL Stream Builder appeared first on Cloudera Blog.

7 months, 2 weeks назад @ blog.cloudera.com
Spark Technical Debt Deep Dive
Spark Technical Debt Deep Dive

A study of the impact of suboptimal Spark code on performance

The post Spark Technical Debt Deep Dive appeared first on Cloudera Blog.

7 months, 2 weeks назад @ blog.cloudera.com
Optimizing the Energy Sector with Data Analytics
Optimizing the Energy Sector with Data Analytics

The move toward renewable energy has a distinct and significant impact on energy generation and distribution that needs to be carefully managed. Efficient use of data will therefore be critical to improving the competitiveness and productivity of assets, both traditional and renewable generation.

The post Optimizing the Energy Sector with Data Analytics appeared first on Cloudera Blog.

9 months, 1 week назад @ blog.cloudera.com
Cloudera Named a Leader in the 2022 Gartner® Magic Quadrant™ for Cloud Database Management Systems (DBMS)
Cloudera Named a Leader in the 2022 Gartner® Magic Quadrant™ for Cloud Database Management Systems (DBMS)

We are pleased to announce that Cloudera has been named a Leader in the 2022 Gartner® Magic Quadrant™ for Cloud Database Management Systems. Cloudera has been recognized in this cloud DBMS report since its inception in 2020. This year we’ve been named a Leader. This validates our significant momentum in global enterprises. And together, with […]

The post Cloudera Named a Leader in the 2022 Gartner® Magic Quadrant™ for Cloud Database Management Systems (DBMS) appeared first on Cloudera Blog.

9 months, 1 week назад @ blog.cloudera.com
Implement a Multi-Cloud Open Lakehouse with Apache Iceberg in Cloudera Data Platform
Implement a Multi-Cloud Open Lakehouse with Apache Iceberg in Cloudera Data Platform

Since we announced the general availability of Apache Iceberg in Cloudera Data Platform (CDP), Cloudera customers, such as Teranet, have built open lakehouses to future-proof their data platforms for all their analytical workloads. Cloudera partners are also benefiting from Apache Iceberg in CDP. For example, Modak Nabu is helping their enterprise customers accelerate data ingestion, […]

The post Implement a Multi-Cloud Open Lakehouse with Apache Iceberg in Cloudera Data Platform appeared first on Cloudera Blog.

9 months, 1 week назад @ blog.cloudera.com
Smart Data
последний пост 4 days, 2 hours назад
4 Ways AI Can Improve Your Marketing Strategy
4 Ways AI Can Improve Your Marketing Strategy

AI technology is rapidly changing the state of business. Last year, around 35% of businesses reported using AI to some degree. This figure is going to rise sharply as more companies discover the benefits of using various AI tools such as ChatGPT. AI seems to be popping up in all sorts of places, including in […]

4 days, 2 hours назад @ smartdatacollective.com
Does Data Mining Really Help with White Label SEO?
Does Data Mining Really Help with White Label SEO?

Big data technology has disrupted the marketing profession in countless ways. Therefore, it should be no surprise that the marketing analytics market size is projected to double from $3.2 billion in 2021 to $6.4 billon by 2026. This is especially true when it comes to SEO. We have talked extensively about the benefits of data […]

1 week назад @ smartdatacollective.com
IT Hardware Startups Turn to Data Analytics for Market Research
IT Hardware Startups Turn to Data Analytics for Market Research

Data analytics technology has been instrumentally valuable for the marketing profession. Global companies are projected to spend over $9.7 billion on marketing analytics within the next seven years. One of the biggest ways that data analytics is changing marketing is that it can help with marketing research. Last month, we talked about the merits of […]

1 week, 4 days назад @ smartdatacollective.com
The Power of Big Data and Analytics in Digital Signage
The Power of Big Data and Analytics in Digital Signage

Welcome to 2023, the age where screens are more than mere displays; they’re interactive communication portals, awash with data and always hungry for more. It’s time to dig deeper into the nexus of Big Data, Analytics, and Kitcast Digital Signage, the new frontier of business intelligence that’s transforming our interaction with the commercial environment, one […]

1 week, 4 days назад @ smartdatacollective.com
Using AI to Create Customized eCommerce Experiences for Consumers
Using AI to Create Customized eCommerce Experiences for Consumers

AI technology has become a huge boon for marketers all over the world. AI has been especially useful in the e-commerce field, which is one of the reasons that e-commerce companies are projected to spend $16.8 billion on machine learning by 2030. One of the reasons more e-commerce companies are using AI is that it […]

1 week, 4 days назад @ smartdatacollective.com
AI Leads to Powerful New Fraud Detection Software for E-commerce
AI Leads to Powerful New Fraud Detection Software for E-commerce

Artificial intelligence technology has led to a number of major changes in digital technology. one of the biggest concerns caused by AI is the proliferation of new cybersecurity threats. Fortunately, artificial intelligence can also be highly valuable for protecting against cybersecurity challenges. One poll found that 69% of e hey Cortana it’s usually executives believe […]

2 weeks, 4 days назад @ smartdatacollective.com
Data Analytics Boosts ROI of Investment Trusts
Data Analytics Boosts ROI of Investment Trusts

Data analytics has had a tremendous impact on the financial sector in recent years. Therefore, it should be no surprise that the market for financial analytics is projected to be worth nearly $19 billion by 2030. There are a ton of great benefits of using data analytics in finance. One of the biggest opportunities to […]

3 weeks, 3 days назад @ smartdatacollective.com
Unleashing Victory: How Data Collection Is Revolutionizing Football Performance Analysis!
Unleashing Victory: How Data Collection Is Revolutionizing Football Performance Analysis!

In the fast-paced world of modern football, success on the field requires more than just raw talent and hard work. It demands a strategic approach that leverages every available advantage. This is where data collection steps onto the pitch, revolutionizing football performance analysis in unprecedented ways. The Evolution of Football Analysis From Gut Feelings to […]

4 weeks назад @ smartdatacollective.com
Data Analytics Helps with Competitor Research
Data Analytics Helps with Competitor Research

Big data technology has substantially changed the nature of business. The data analytics market is expected to grow from $30 billion last year to over $393 billion by 2032. A growing number of companies are using data analytics to handle a variety of important functions, including researching their competitors. We have talked about some of […]

1 month назад @ smartdatacollective.com
Data Analytics Proves ROI of NASM & ACE Fitness Certifications
Data Analytics Proves ROI of NASM & ACE Fitness Certifications

Big data has led to some major changes in the fitness industry. The fitness tracker analytics market size was worth over $44 billion last year. However, there are other ways that data analytics is transforming the fitness industry. One way is by helping evaluate the benefits of various certification programs. Data Analytics Demonstrates the Benefits […]

1 month назад @ smartdatacollective.com
Data Analytics Improves Credit Risk Reduction Via Diversification
Data Analytics Improves Credit Risk Reduction Via Diversification

Data analytics technology has significantly improved the state of finance. The financial analytics market size was worth $7.99 billion last year and is projected to be worth over $18.7 billion by 2030. We have talked about some of the many ways that data analytics technology is changing the state of finance. One of the ways […]

1 month назад @ smartdatacollective.com
Future Proofing Employee Satisfaction Trends With Data Analytics
Future Proofing Employee Satisfaction Trends With Data Analytics

Big data can be used in various industries, including HR. One of the biggest benefits of big data in HR is that it can help bolster employee engagement. As 2023 approaches the final third of its year, the paradigm of workplace happiness is experiencing a deep shift, owing to tremendous changes in work dynamics, employee […]

1 month, 1 week назад @ smartdatacollective.com
Personalizing Learning Experience with AI Voice Over Generator
Personalizing Learning Experience with AI Voice Over Generator

Artificial intelligence (AI) has emerged as a powerful tool in the field of education, transforming traditional pedagogical methods and paving the way for more personalized and adaptive learning experiences. The use of AI voice over generators, in particular, has proven to be a game changer, providing numerous benefits to learners all over the world. With […]

1 month, 2 weeks назад @ smartdatacollective.com
7 Tips for Using Data Analytics to Inform Revenue Operations
7 Tips for Using Data Analytics to Inform Revenue Operations

By analyzing the revenue streams of a particular business, you can gain deep insights about the processes that the company uses to make money. In some cases, this can tell you where funds and time are being wasted, while others might learn that they’re missing out on opportunities to increase efficiency, or even uncover some […]

1 month, 2 weeks назад @ smartdatacollective.com
Revolutionizing Procurement: The Power of AI in Vendor Management Systems
Revolutionizing Procurement: The Power of AI in Vendor Management Systems

Vendor Management Systems (VMS) have become an indispensable tool for streamlining procurement and fostering strong vendor relationships. With the advent of the Fourth Industrial Revolution, where the lines between physical, digital, and biological spheres are increasingly blurred, a new transformational player has emerged on the VMS scene: Artificial Intelligence (AI). As AI reshapes traditional operational […]

2 months назад @ smartdatacollective.com
Knoldus
последний пост 5 months назад
Introduction to Resilience4j Circuit Breaker
Introduction to Resilience4j Circuit Breaker

Reading Time: 5 minutes In a microservice architecture, There are multiple services connecting threw each other and there is always the possibility that the other service being called is unavailable or unable to respond. So, what can we do then? Here resilience4j circuit breaker comes into the picture INTRODUCTION Resilience is essential for any system that needs to function effectively, and the resilience4j Circuit Breaker is no exception. The Continue Reading

The post Introduction to Resilience4j Circuit Breaker appeared first on Knoldus Blogs.

5 months назад @ blog.knoldus.com
An Introduction to Kafka’s Internals
An Introduction to Kafka’s Internals

Reading Time: 6 minutes In this blog, we will get the opportunity to come across what Kafka is, and explain how Kafka works from the inside out. How does it replicate data between nodes, what happens if replication fails, and how do consumers scale-out automatically? Insights of Apache Kafka Kafka is a statistics streaming system that permits builders to react to new activities as they arise in real-time. Kafka Continue Reading

The post An Introduction to Kafka’s Internals appeared first on Knoldus Blogs.

5 months назад @ blog.knoldus.com
Spring WebFlux — WebClient
Spring WebFlux — WebClient

Reading Time: 3 minutes Overview This Blog will see how we could use Spring WebFlux WebClient for making non-blocking HTTP requests. What Is the WebClient? Just put, the WebClient class which provides a common method for sending or receiving data from any local, intranet, or Internet resource which is identified by a URI. The WebClient class uses the WebRequest class which provides the access to resources. It is an interface that stands for Continue Reading

The post Spring WebFlux — WebClient appeared first on Knoldus Blogs.

5 months назад @ blog.knoldus.com
Use-Cases of Apache HttpClient
Use-Cases of Apache HttpClient

Reading Time: 9 minutes This is Part 2 of an ongoing series of blogs explaining the use cases of Apache HttpClient(Part-1). This blog is going to take you a step ahead and help you know more about the various use cases such as Authentication, Connection Pooling, Cookie Management, GZIP Compression, Multithreading, Content-Encoding, Redirection, and Retries 1. Authentication It’s important to use secure connections (HTTPS) when sending sensitive information over Continue Reading

The post Use-Cases of Apache HttpClient appeared first on Knoldus Blogs.

5 months назад @ blog.knoldus.com
MySql connection with Spring boot using JPA
MySql connection with Spring boot using JPA

Reading Time: 3 minutes Introduction Spring Boot is a popular Java-based framework that provides a rapid development environment for building web applications. One of the most important components of any web application is a database. In this blog, we will discuss how to establish an SQL connection in Spring Boot with JPA. SQL Connection with Spring Boot Spring Boot provides support for the Java Persistence API (JPA), which is Continue Reading

The post MySql connection with Spring boot using JPA appeared first on Knoldus Blogs.

5 months назад @ blog.knoldus.com
Getting started with Zio-Http
Getting started with Zio-Http

Reading Time: 6 minutes What is Zio? ZIO is a functional programming library for building concurrent and asynchronous applications in Scala. It provides a set of composable and type-safe abstractions for managing side effects, such as IO, error handling, and concurrency primitives like fibers, promises, and queues. ZIO is designed to make it easier to write correct and performant concurrent code by providing a more expressive and composable API Continue Reading

The post Getting started with Zio-Http appeared first on Knoldus Blogs.

5 months, 3 weeks назад @ blog.knoldus.com
Design Thinking in Project Management
Design Thinking in Project Management

Reading Time: 6 minutes Design thinking is a problem-solving approach that places the needs and experiences of the end-user at the center of the process. It is a human-centered approach to innovation and problem-solving that involves empathy, creativity, and experimentation. In project management, design thinking is used to develop innovative solutions to complex problems, with the goal of creating products or services that meet the needs of the end-user. Continue Reading

The post Design Thinking in Project Management appeared first on Knoldus Blogs.

5 months, 3 weeks назад @ blog.knoldus.com
Functional programming
Functional programming

Reading Time: 7 minutes Functional programming helps to solve problems in an easier way. Unlike other programming paradigms, such as imperative programming, functional programming focuses on what needs to be done rather than how it should be done. Functional programming also relies on higher-order functions, which are functions that take other functions as arguments or return functions as results. This allows for the composition of functions, which can simplify code Continue Reading

The post Functional programming appeared first on Knoldus Blogs.

5 months, 4 weeks назад @ blog.knoldus.com
Make Transitions in React with Material UI
Make Transitions in React with Material UI

Reading Time: 3 minutes A transition is an animation usually used to move content in or out of view. Transitions help to make a UI expressive and easy to use.

The post Make Transitions in React with Material UI appeared first on Knoldus Blogs.

6 months назад @ blog.knoldus.com
How Does React updates DOM so Efficiently?
How Does React updates DOM so Efficiently?

Reading Time: 3 minutes In the browser, DOM manipulation is expensive and time-consuming, both in mounting and unmounting. Part of what makes React very performant is its Reconciliation algorithm. In short, it watches closely for differences, only updates the DOM when necessary, and tries to update only the parts which need to be changed. In this blog, we will explore how DOM manipulation gets easier with the reconciliation algorithm Continue Reading

The post How Does React updates DOM so Efficiently? appeared first on Knoldus Blogs.

6 months назад @ blog.knoldus.com
Google Cloud Platform: Migrating Data to New Schemas on Big Query Using Dataflow
Google Cloud Platform: Migrating Data to New Schemas on Big Query Using Dataflow

Reading Time: 6 minutes Migrating data on Google Cloud BigQuery may seem like a straightforward task, until you run into having to match old data to tables with different schemas and data types. There are many approaches you can take to moving data, perhaps using SQL commands to transform the data to be compatible with the new schema. However, SQL has limitations as a programming language, being a query-centric Continue Reading

The post Google Cloud Platform: Migrating Data to New Schemas on Big Query Using Dataflow appeared first on Knoldus Blogs.

7 months, 3 weeks назад @ blog.knoldus.com
Know how Computer Vision and Augmented Reality overlap each other?
Know how Computer Vision and Augmented Reality overlap each other?

Reading Time: 2 minutes To understand the overlapping of Computer Vision and Augmented Reality, Let’s understand what is computer vision, augumented reality and virtual reality. Computer Vision Augmented Reality Virtual Reality A direct comparison of Augmented Reality and Virtual Reality Application of Augmented Reality and Computer Vision Augmented Reality and Computer Vision in Autonomous Cars Security Monitoring with Augmented Vision and Computer Vision Augmented Reality and Computer Vision in Continue Reading

The post Know how Computer Vision and Augmented Reality overlap each other? appeared first on Knoldus Blogs.

8 months, 1 week назад @ blog.knoldus.com
Learn Data Engineering
последний пост None
SCRIBD
последний пост None
Data Quest
последний пост None
Infrastructure
AWS
последний пост 2 days, 2 hours назад
Improving your LLMs with RLHF on Amazon SageMaker
Improving your LLMs with RLHF on Amazon SageMaker

In this blog post, we illustrate how RLHF can be performed on Amazon SageMaker by conducting an experiment with the popular, open-sourced RLHF repo Trlx. Through our experiment, we demonstrate how RLHF can be used to increase the helpfulness or harmlessness of a large language model using the publicly available Helpfulness and Harmlessness (HH) dataset provided by Anthropic. Using this dataset, we conduct our experiment with Amazon SageMaker Studio notebook that is running on an ml.p4d.24xlarge instance. Finally, we provide a Jupyter notebook to replicate our experiments.

2 days, 2 hours назад @ aws.amazon.com
How to deploy SQL Server Analysis Services on RDS Custom in a new VPC environment
How to deploy SQL Server Analysis Services on RDS Custom in a new VPC environment

A common use case for Amazon RDS Custom for SQL Server is to offload the undifferentiated heavy lifting of managing the underlying infrastructure of the cluster when running SQL Server Analysis Services (SSAS). SSAS is an analytical data engine, based on the VertiPaq technology which is used in decision support and business analytics.In this post, we explain how to launch and setup Amazon RDS Custom for SQL Server and enable SSAS to run either Tabular or Multi-Dimensional model modes.

2 days, 6 hours назад @ aws.amazon.com
Use the new SQL commands MERGE and QUALIFY to implement and validate change data capture in Amazon Redshift
Use the new SQL commands MERGE and QUALIFY to implement and validate change data capture in Amazon Redshift

Amazon Redshift has added many features to enhance analytical processing like ROLLUP, CUBE and GROUPING SETS, which were demonstrated in the post Simplify Online Analytical Processing (OLAP) queries in Amazon Redshift using new SQL constructs such as ROLLUP, CUBE, and GROUPING SETS. Amazon Redshift has recently added many SQL commands and expressions. In this post, we talk about two new SQL features, the MERGE command and QUALIFY clause, which simplify data ingestion and data filtering.

2 days, 6 hours назад @ aws.amazon.com
Stitch Fix seamless migration: Transitioning from self-managed Kafka to Amazon MSK
Stitch Fix seamless migration: Transitioning from self-managed Kafka to Amazon MSK

Stitch Fix is a personalized clothing styling service for men, women, and kids. In this post, we will describe how and why we decided to migrate from self-managed Kafka to Amazon Managed Streaming for Apache Kafka (Amazon MSK).

2 days, 6 hours назад @ aws.amazon.com
How to import existing resources into AWS CDK Stacks
How to import existing resources into AWS CDK Stacks

Introduction Many customers have provisioned resources through the AWS Management Console or different Infrastructure as Code (IaC) tools, and then started using AWS Cloud Development Kit (AWS CDK) in a later stage. After introducing AWS CDK into the architecture, you might want to import some of the existing resources to avoid losing data or impacting […]

2 days, 18 hours назад @ aws.amazon.com
How United Airlines built a cost-efficient Optical Character Recognition active learning pipeline
How United Airlines built a cost-efficient Optical Character Recognition active learning pipeline

In this post, we discuss how United Airlines, in collaboration with the Amazon Machine Learning Solutions Lab, build an active learning framework on AWS to automate the processing of passenger documents. “In order to deliver the best flying experience for our passengers and make our internal business process as efficient as possible, we have developed […]

3 days, 6 hours назад @ aws.amazon.com
Explore the prerequisites required to create an Amazon RDS Custom for SQL Server instance
Explore the prerequisites required to create an Amazon RDS Custom for SQL Server instance

Customers often ask us how they can create an RDS Custom for SQL Server database in their existing networking infrastructure. They want to ensure that the database servers are created within the security perimeter designed by their networking teams. They also want to understand different components and services involved when creating an RDS Custom for SQL Server instance. In this post, we demonstrate how to create an RDS Custom for SQL Server instance. We also show how to create the required prerequisites within an existing networking infrastructure. Amazon RDS Custom requires these prerequisites to create the necessary resources in your AWS account.

3 days, 6 hours назад @ aws.amazon.com
Optimize generative AI workloads for environmental sustainability
Optimize generative AI workloads for environmental sustainability

To add to our guidance for optimizing deep learning workloads for sustainability on AWS, this post provides recommendations that are specific to generative AI workloads. In particular, we provide practical best practices for different customization scenarios, including training models from scratch, fine-tuning with additional data using full or parameter-efficient techniques, Retrieval Augmented Generation (RAG), and prompt engineering.

3 days, 6 hours назад @ aws.amazon.com
Accelerate Amazon Redshift secure data use with Satori – Part 1
Accelerate Amazon Redshift secure data use with Satori – Part 1

This post is co-written by Lisa Levy, Content Specialist at Satori. Data democratization enables users to discover and gain access to data faster, improving informed data-driven decisions and using data to generate business impact. It also increases collaboration across teams and organizations, breaking down data silos and enabling cross-functional teams to work together more effectively. […]

3 days, 6 hours назад @ aws.amazon.com
Handle traffic spikes with Amazon DynamoDB provisioned capacity
Handle traffic spikes with Amazon DynamoDB provisioned capacity

If you’re using Amazon DynamoDB tables with provisioned capacity, one challenge you might face is how best to handle a sudden request traffic increase (spike) without being throttled. The more sudden and extended the traffic spike, the more likely a table will experience throttles. However, throttles aren't inevitable even for spiky traffic. Here we walk you through eight designs to handle traffic spikes, and present their advantages and disadvantages.

4 days, 5 hours назад @ aws.amazon.com
Migrate logins, database roles, users and object-level permissions to Amazon RDS for SQL Server using T-SQL
Migrate logins, database roles, users and object-level permissions to Amazon RDS for SQL Server using T-SQL

In this post, we explain how to migrate the logins, database roles, users, and object-level permissions from on-prem or Amazon Elastic Compute Cloud (Amazon EC2) for SQL Server to Amazon Relational Database Service (Amazon RDS) for SQL Server using the T-SQL.

4 days, 5 hours назад @ aws.amazon.com
Explore visualizations with AWS Glue interactive sessions
Explore visualizations with AWS Glue interactive sessions

AWS Glue interactive sessions offer a powerful way to iteratively explore datasets and fine-tune transformations using Jupyter-compatible notebooks. Interactive sessions enable you to work with a choice of popular integrated development environments (IDEs) in your local environment or with AWS Glue or Amazon SageMaker Studio notebooks on the AWS Management Console, all while seamlessly harnessing […]

4 days, 6 hours назад @ aws.amazon.com
Train and deploy ML models in a multicloud environment using Amazon SageMaker
Train and deploy ML models in a multicloud environment using Amazon SageMaker

In this post, we demonstrate one of the many options that you have to take advantage of AWS’s broadest and deepest set of AI/ML capabilities in a multicloud environment. We show how you can build and train an ML model in AWS and deploy the model in another platform. We train the model using Amazon SageMaker, store the model artifacts in Amazon Simple Storage Service (Amazon S3), and deploy and run the model in Azure.

4 days, 6 hours назад @ aws.amazon.com
Introducing enhanced support for tagging, cross-account access, and network security in AWS Glue interactive sessions
Introducing enhanced support for tagging, cross-account access, and network security in AWS Glue interactive sessions

AWS Glue interactive sessions allow you to run interactive AWS Glue workloads on demand, which enables rapid development by issuing blocks of code on a cluster and getting prompt results. This technology is enabled by the use of notebook IDEs, such as the AWS Glue Studio notebook, Amazon SageMaker Studio, or your own Jupyter notebooks. […]

4 days, 6 hours назад @ aws.amazon.com
Implementing GitFlow with Amazon CodeCatalyst
Implementing GitFlow with Amazon CodeCatalyst

Amazon CodeCatalyst is a unified software development service for building and delivering applications on AWS. With CodeCatalyst, you can implement your team’s preferred branching strategy. Whether you follow popular models like GitFlow or have your own approach, CodeCatalyst Workflows allow you to design your development process and deploy to multiple environments. Introduction In a previous […]

4 days, 6 hours назад @ aws.amazon.com
AWS
последний пост 2 days, 2 hours назад
Externalize Amazon MSK Connect configurations with Terraform
Externalize Amazon MSK Connect configurations with Terraform

Managing configurations for Amazon MSK Connect, a feature of Amazon Managed Streaming for Apache Kafka (Amazon MSK), can become challenging, especially as the number of topics and configurations grows. In this post, we address this complexity by using Terraform to optimize the configuration of the Kafka topic to Amazon S3 Sink connector. By adopting this […]

5 days, 5 hours назад @ aws.amazon.com
Run Amazon RDS for SQL Server 2x faster with X2iedn Instances
Run Amazon RDS for SQL Server 2x faster with X2iedn Instances

Amazon Relational Database Service (Amazon RDS) for SQL Server now supports X2iedn powered by third-generation Intel Xeon Scalable processors built on the AWS Nitro System and featuring the third-generation Intel Xeon Scalable (Ice Lake) processors. SQL Server workloads are highly dependent on memory. As a result, memory-optimized Amazon Elastic Compute Cloud (Amazon EC2) instances are most commonly used by customers.

5 days, 6 hours назад @ aws.amazon.com
Build aggregations for Amazon DynamoDB tables using Amazon DynamoDB Streams
Build aggregations for Amazon DynamoDB tables using Amazon DynamoDB Streams

In this post, we discuss how to perform aggregations on a DynamoDB table using Amazon DynamoDB Streams and AWS Lambda. The content includes a reference architecture, a step-by-step guide on enabling DynamoDB Streams for a table, sample code for implementing the solution within a scenario, and an accompanying AWS CloudFormation template for easy deployment and testing.

5 days, 6 hours назад @ aws.amazon.com
Amazon RDS for Oracle Transportable Tablespaces using RMAN
Amazon RDS for Oracle Transportable Tablespaces using RMAN

In this post, we show you how you can use the RMAN XTTS functionality to migrate from an Oracle database hosted on Amazon Elastic Compute CLoud (Amazon EC2) to Amazon RDS for Oracle. Combined with Amazon Elastic File System (Amazon EFS) integration, XTTS can help reduce the complexity of your migration strategy, reduce the number and copies of data and backups required (as well as associated storage space consumption), and reduce the application downtime associated with completing the migration of your data.

5 days, 6 hours назад @ aws.amazon.com
Generative AI and multi-modal agents in AWS: The key to unlocking new value in financial markets
Generative AI and multi-modal agents in AWS: The key to unlocking new value in financial markets

Multi-modal data is a valuable component of the financial industry, encompassing market, economic, customer, news and social media, and risk data. Financial organizations generate, collect, and use this data to gain insights into financial operations, make better decisions, and improve performance. However, there are challenges associated with multi-modal data due to the complexity and lack […]

5 days, 7 hours назад @ aws.amazon.com
How VirtuSwap accelerates their pandas-based trading simulations with an Amazon SageMaker Studio custom container and AWS GPU instances
How VirtuSwap accelerates their pandas-based trading simulations with an Amazon SageMaker Studio custom container and AWS GPU instances

This post is written in collaboration with Dima Zadorozhny and Fuad Babaev from VirtuSwap. VirtuSwap is a startup company developing innovative technology for decentralized exchange of assets on blockchains. VirtuSwap’s technology provides more efficient trading for assets that don’t have a direct pair between them. The absence of a direct pair leads to costly indirect trading, […]

5 days, 7 hours назад @ aws.amazon.com
Unlock ML insights using the Amazon SageMaker Feature Store Feature Processor
Unlock ML insights using the Amazon SageMaker Feature Store Feature Processor

Amazon SageMaker Feature Store provides an end-to-end solution to automate feature engineering for machine learning (ML). For many ML use cases, raw data like log files, sensor readings, or transaction records need to be transformed into meaningful features that are optimized for model training. Feature quality is critical to ensure a highly accurate ML model. […]

5 days, 7 hours назад @ aws.amazon.com
How Chime Financial uses AWS to build a serverless stream analytics platform and defeat fraudsters
How Chime Financial uses AWS to build a serverless stream analytics platform and defeat fraudsters

This is a guest post by Khandu Shinde, Staff Software Engineer and Edward Paget, Senior Software Engineering at Chime Financial. Chime is a financial technology company founded on the premise that basic banking services should be helpful, easy, and free. Chime partners with national banks to design member first financial products. This creates a more […]

5 days, 7 hours назад @ aws.amazon.com
Manage roles and entitlements with PBAC using Amazon Verified Permissions
Manage roles and entitlements with PBAC using Amazon Verified Permissions

Traditionally, customers have used role-based access control (RBAC) to manage entitlements within their applications. The application controls what users can do, based on the roles they are assigned. But, the drive for least privilege has led to an exponential growth in the number of roles. Customers can address this role explosion by moving authorization logic […]

6 days, 2 hours назад @ aws.amazon.com
Model hierarchical automotive component data using Amazon DynamoDB
Model hierarchical automotive component data using Amazon DynamoDB

In this post, we discuss an automotive manufacturing information management use case where we store information about components within a vehicle as well as the hierarchy between each of the components. For our automotive use case, we use Amazon DynamoDB to deliver transactional queries, such as component attribute lookups. We will also show you how to use DynamoDB for larger responses such as a recursive query for all the components in a vehicle. While recursive object relationships can be represented in graph databases and possibly traditional RDBMS (with complex joins), these deeper queries can also be represented in DynamoDB.

6 days, 4 hours назад @ aws.amazon.com
Use the DBMS_CLOUD package in Amazon RDS Custom for Oracle for direct Amazon S3 integration
Use the DBMS_CLOUD package in Amazon RDS Custom for Oracle for direct Amazon S3 integration

In this post, we demonstrate how to use the DBMS_CLOUD package to transfer files between S3 buckets and directories in an RDS Custom for Oracle database. We also show how you can access data from Amazon S3 directly using Oracle features such as external tables and hybrid partition tables. The features provided by DBMS_CLOUD could vary between different Oracle releases, so pay close attention to the steps in the post and make sure you reference DBMS_CLOUD in the Oracle Database 19c documentation. To avoid confusion, the option discussed in this post is for RDS Custom for Oracle, not for RDS for Oracle. RDS for Oracle offers S3 integration.

6 days, 5 hours назад @ aws.amazon.com
Streamline interstate Department of Motor Vehicles collaboration with Private Blockchain
Streamline interstate Department of Motor Vehicles collaboration with Private Blockchain

According to the United States Census Bureau, over 7.9 million Americans moved from one state to another in 2021 alone. One of the tasks an individual must complete when moving from state to state is trading in their driver’s license from their former state of residence for a license in their new state of residence. Each state’s Department of Motor Vehicles (DMV) is responsible for the issuance and management of driver’s licenses within the state, and this requires collaboration with other state DMVs to gather important data such as traffic offenses occurring out of state. In this post, we discuss how blockchain can streamline driver’s license issuance and foster deeper collaboration betwee…

6 days, 5 hours назад @ aws.amazon.com
Orchestrate Ray-based machine learning workflows using Amazon SageMaker
Orchestrate Ray-based machine learning workflows using Amazon SageMaker

Machine learning (ML) is becoming increasingly complex as customers try to solve more and more challenging problems. This complexity often leads to the need for distributed ML, where multiple machines are used to train a single model. Although this enables parallelization of tasks across multiple nodes, leading to accelerated training times, enhanced scalability, and improved […]

6 days, 5 hours назад @ aws.amazon.com
Designing resilient cities at Arup using Amazon SageMaker geospatial capabilities
Designing resilient cities at Arup using Amazon SageMaker geospatial capabilities

This post is co-authored with Richard Alexander and Mark Hallows from Arup. Arup is a global collective of designers, consultants, and experts dedicated to sustainable development. Data underpins Arup consultancy for clients with world-class collection and analysis providing insight to make an impact. The solution presented here is to direct decision-making processes for resilient city […]

6 days, 5 hours назад @ aws.amazon.com
Explore real-world use cases for Amazon CodeWhisperer powered by AWS Glue Studio notebooks
Explore real-world use cases for Amazon CodeWhisperer powered by AWS Glue Studio notebooks

Many customers are interested in boosting productivity in their software development lifecycle by using generative AI. Recently, AWS announced the general availability of Amazon CodeWhisperer, an AI coding companion that uses foundational models under the hood to improve software developer productivity. With Amazon CodeWhisperer, you can quickly accept the top suggestion, view more suggestions, or […]

6 days, 5 hours назад @ aws.amazon.com
Astronomer Astronomer
последний пост None
DBT — Data Build Tool DBT — Data Build Tool
последний пост None
FiveTran FiveTran
последний пост None
DataBricks
последний пост None
Mix
/r/DataEngineering
последний пост 48 минут назад
Stock market streaming application
Stock market streaming application

Please find the code for my stock data streaming application here. The aim for the project was to familiarize myself with the various components involved and having a meaningful dashboard at the end of it. Kindly share your suggestions/advices. The main thing I am concerned is if I have structured the code in the best way possible or even the deployment setup/configurations. This subreddit has been immense during my learning journey and I hope it continues to aid me. submitted by /u/jawz96 [link] [comments]

48 минут назад @ reddit.com
Bombed an easy SQL prescreening assessment - have I picked up bad habits by looking at intermediate query results?
Bombed an easy SQL prescreening assessment - have I picked up bad habits by looking at intermediate query results?

The questions were fairly straightforward, irritatingly more wordy that most leetcode type questions, but there was only one table per question (there were joins but self joins only) Really nothing crazy about them. 4 questions, one hour. First question I finished in about 5mins as it was more of a fill in the blanks for a stored proc that'd give you the most popular product by year. Next one was a simple select, to get sum of highest salaries - sum of lowest. (This one actually failed a 1/7 test case but was it was easy I'd come back to it later. I'd find out soon though, I'd never see this question again... Question 3, shit hit the fan. All I needed to do was select names of fraudulent cu…

1 час назад @ reddit.com
Batch processing recommendations
Batch processing recommendations

I’m trying to build a batch processing pipeline which transforms CSVs into some common JSON schema. What are good ways of achieving that? The pipeline needs to: - start a job on signal (perhaps airflow/dagster) - process csv file (~10GB) - load json into document store - perform other tasks eventually, like validation, diffing, notifying, etc. I’ve tried Apache Beam via Dataflow, using Scala scio, and this seems like a viable option, although maybe not especially user friendly. Documentation and examples are scattered across different SDKs using different languages and if I’m not mistaken, they don’t implement the same functionality. I’d like to use Scala, or a similar statically typed lang…

2 часа назад @ reddit.com
For a data platform engineer interview(s) , one round is coding live the other is a “problem solving” - what would should I expect for that and how to best prepare?
For a data platform engineer interview(s) , one round is coding live the other is a “problem solving” - what would should I expect for that and how to best prepare?

Would I assume it’s a coding question still but higher level ( talk to aglo’s? ) or is it situational like how to debug this error or is it architectural or idk having a trouble because I’d assume if they has one meeting say “coding” in the interview and the other say “problem solving “ I’d assume it’s not live coding. Also another meeting is a design session. So like if your not coding or designing what is the problem to solve ? Also not seeing a lot of this category online to prepare for. submitted by /u/citizenofacceptance2 [link] [comments]

4 часа назад @ reddit.com
I have over 3 years of work experience, with one year as an SQL developer and two years as a data analyst. I now earn a package of Rs 3LPA. How can I increase my salary? in India
I have over 3 years of work experience, with one year as an SQL developer and two years as a data analyst. I now earn a package of Rs 3LPA. How can I increase my salary? in India

Currently, I have over 3 years of work experience, with one year as a SQL developer and two years as a data analyst. I currently earn a package of Rs 3LPA. How can I increase my salary? in India Any suggestions submitted by /u/Galaxy_Pegasus_777 [link] [comments]

5 часов назад @ reddit.com
Always been my dream job to be a Data engineer, but feeling lost, would love some guidance
Always been my dream job to be a Data engineer, but feeling lost, would love some guidance

I'm currently enrolled in university as a computer science major and will receive my bachelor's soon, I have some projects under my belt and am proficient in Java. Lately I've been thinking about saving money by enrolling in WGU and getting a master's degree in data analytics, would that be worth it to increase my chances of getting hired, or should I stop at the bachelors and look for a job as a Java developer and shift over to data engineering later? I'm having difficulty figuring out the best entry into this field. This is something that has really been bothering me. Thankful for anyone's advice. submitted by /u/ThatBeachGuyy [link] [comments]

6 часов назад @ reddit.com
Always encounter SQL Hard in OA, is it normal?
Always encounter SQL Hard in OA, is it normal?

I have been applying for jobs and recently got 3 callbacks from some contractor roles in Faang. It turned out all of them asked SQL hard level questions in the OA Hackerrank screening. Those were very tricky and unique questions, and I had no idea to solve them if I didn’t encounter them before. I have done around 200+ easy/medium SQL, and some hard. Is this a norm where they ask very difficult sql in the oa, then medium level question onsite? How to grind sql hard efficiently? submitted by /u/Old-Astronomer-471 [link] [comments]

6 часов назад @ reddit.com
Is it bad practice to use SQL Server Express in production?
Is it bad practice to use SQL Server Express in production?

We have a data warehouse that uses SQL Server 2019 full version. Just one at the moment, and no more expenses will be approved. ​ There are a lot of serious costs constraints at the company I currently work for. There is a huge love-hate relationship with technology, mostly hate. They don't understand technology and don't want to pay for it. People in crucial positions have carved roles doing things manually becoming emperors of their own very basic Excel workbook systems, which senior management doesn't want to upset. Despite the fact that the data they send is old, extremely redundant, and wrong more often than not, they see that as a fault of IT and technology and not the fact it's all d…

10 часов назад @ reddit.com
Interview help
Interview help

Hi I have a data engineer interview on thursday 27th september. I have 2 years of operations experience and 1.3 years of development experience. I feel less confident regarding it because i desperately want to switch my current job for various reasons. I have prepared things related to my resume and related to new job description but still I feel worried because I lack good communication. How can I be confident? Can anyone help out or provide some tips? submitted by /u/zuffido [link] [comments]

11 часов назад @ reddit.com
Upcoming Data Engineering Tools
Upcoming Data Engineering Tools

Back in the day when we had to scale an analytics pipeline over a large dataset, Hadoop/spark used to be the go to options and later pyspark became popular. Now if the dataset is big we have some really interesting tools which doesn't require complex setup like spinning up a hadoop cluster. We have tools like Polars which can stream data if the memory is not enough. We have Ibis which helps you write generic analytics pipelines and it supports multiple backends and you can either run these pipeline on a query processing engine or a pyspark cluster or even on Pandas or Polars. You can create your own internal datalake using a couple of parquet files and pair it with Duckdb for superfast anal…

11 часов назад @ reddit.com
As a data science student want to work in data engineeing
As a data science student want to work in data engineeing

I am a data science student who wants to be in data science but it's just impossible to find an internship or an entry level in DS and I know many people who graduated from the same college with the Sam degree and now are DE and mainly it seems like the better option for the short term, but will it be easy to be transferred to DS jobs or shift from DE to DS ? submitted by /u/Emotional-Rhubarb725 [link] [comments]

11 часов назад @ reddit.com
Hot to get remote Job in UK, US etc by being in India
Hot to get remote Job in UK, US etc by being in India

What level of skills are expected to get a remote job. Are there any sites for this ? Anyone who have a clue about this please guide me. Any ideas or leads will be appreciated thank you. remote #remotejobs #dataengineering submitted by /u/Datadiver01 [link] [comments]

11 часов назад @ reddit.com
Pricing options for Data integration
Pricing options for Data integration

Hello, We build integrations between ERP and desperate systems for exchange of data. Wondering how this service be monetised and what pricing models can be adopted to offer as a SAAS model. Building integration is not just using existing DIY ETL platforms but need subject matter expertise to understand ERP data especially during transformation. How can infra, technology, manpower, subject matter expertise be clubbed into one pricing model. Can it be data storage+ rows of data extracted and stored? Any ideas is greatly appreciated from the community. submitted by /u/srikon [link] [comments]

12 часов назад @ reddit.com
What to learn after these technologies?
What to learn after these technologies?

Hi, I'm a DE with 2 YOE + 2 YOE working as a DA. I am confident in my skills with SQL, Python, Azure, Databricks & Power BI but have next to no exposure in anything beyond that. What do you think an important concept or tool to add to this repertoire is? I've seen job postings with Git, Terraform, Kubernetes, Airflow, Docker, Airbyte, Kafka and lots more besides, so shill me your tools! Thanks submitted by /u/camikaze007 [link] [comments]

12 часов назад @ reddit.com
Views on using duckdb + S3 as a datalake/datalakehouse/datawarehouse
Views on using duckdb + S3 as a datalake/datalakehouse/datawarehouse

What's your views on using duckdb + S3 as your datalake/datalakehouse/datawarehouse. i.e. raw data sits in S3 -> duckdb to clean raw data and write back to s3 -> duckdb to transform cleaned data and write back to s3 -> load transformed data to postgres -> connect postgres to BI tool -> dashboard(s). ​ Would you say this is good or not-so-good practice? How scalable is this (if at all)? Potentially too many read/writes to s3 for your liking? What would be your good-to data pipeline architecture? submitted by /u/theoriginalmantooth [link] [comments]

13 часов назад @ reddit.com
Towards Data Science
последний пост 5 часов назад
Don’t Start Your Data Science Journey Without These 5 Must-Do Steps From a Spotify Data Scientist
Don’t Start Your Data Science Journey Without These 5 Must-Do Steps From a Spotify Data Scientist Don’t Start Your Data Science Journey Without These 5 Must-Do Steps From a Spotify Data Scientist

A complete guide to everything I wish I’d done before starting my Data Science journey, here’s to acing your first year with dataContinue reading on Towards Data Science »

5 часов назад @ towardsdatascience.com
Matplotlib Tutorial: Let’s Take Your Country Maps to Another Level
Matplotlib Tutorial: Let’s Take Your Country Maps to Another Level Matplotlib Tutorial: Let’s Take Your Country Maps to Another Level

How to draw beautiful maps with Python and MatplotlibContinue reading on Towards Data Science »

6 часов назад @ towardsdatascience.com
Causal Python: Five Novel Causal Ideas At NeurIPS 2023
Causal Python: Five Novel Causal Ideas At NeurIPS 2023 Causal Python: Five Novel Causal Ideas At NeurIPS 2023

New exciting ideas that marry causality with generative modeling, conformal prediction and topology.Continue reading on Towards Data Science »

6 часов назад @ towardsdatascience.com
Anomaly Detection in TensorFlow and Keras Using the Autoencoder Method
Anomaly Detection in TensorFlow and Keras Using the Autoencoder Method Anomaly Detection in TensorFlow and Keras Using the Autoencoder Method

A cutting-edge unsupervised method for noise removal, dimensionality reduction, anomaly detection, and moreContinue reading on Towards Data Science »

1 day, 1 hour назад @ towardsdatascience.com
How to Program a Neural Network
How to Program a Neural Network How to Program a Neural Network

A step-by-step guide to implementing a neural network from scratchContinue reading on Towards Data Science »

1 day, 1 hour назад @ towardsdatascience.com
Optimizing LLMs with C, and running GPT, Lama, Whisper on your laptop
Optimizing LLMs with C, and running GPT, Lama, Whisper on your laptop Optimizing LLMs with C, and running GPT, Lama, Whisper on your laptop

In this first article, we’ll dive into ggml, the fantastic tensor library created by Georgi Gerganov. How does it work? How is the tensor…Continue reading on Towards Data Science »

1 day, 2 hours назад @ towardsdatascience.com
Temporal-Difference Learning and the importance of exploration: An illustrated guide
Temporal-Difference Learning and the importance of exploration: An illustrated guide Temporal-Difference Learning and the importance of exploration: An illustrated guide

Comparing model-free and model-based RL methods on a dynamic grid worldPhoto by Saffu on UnsplashRecently, Reinforcement Learning (RL) algorithms have received a lot of traction by solving research problems such as protein folding, reaching a superhuman level in drone racing, or even integrating human feedback in your favorite chatbots.Indeed, RL provides useful solutions to a variety of sequential decision-making problems. Temporal-Difference Learning (TD learning) methods are a popular subset of RL algorithms. TD learning methods combine key aspects of Monte Carlo and Dynamic Programming methods to accelerate learning without requiring a perfect model of the environment dynamics.In this a…

1 day, 5 hours назад @ towardsdatascience.com
A Taxonomy of Natural Language Processing
A Taxonomy of Natural Language Processing A Taxonomy of Natural Language Processing

An overview of different fields of study and recent developments in NLPNLP taxonomy. Image by author.This post is based on our RANLP 2023 paper “Exploring the Landscape of Natural Language Processing Research”. You can read more details there.IntroductionAs an efficient approach to understand, generate, and process natural language texts, research in natural language processing (NLP) has exhibited a rapid spread and wide adoption in recent years. Given the rapid developments in NLP, obtaining an overview of the domain and maintaining it is difficult. This blog post aims to provide a structured overview of different fields of study NLP and analyzes recent trends in this domain.Fields of stud…

1 day, 8 hours назад @ towardsdatascience.com
Organizational Processes for Machine Learning Risk Management
Organizational Processes for Machine Learning Risk Management Organizational Processes for Machine Learning Risk Management

Organizational processes are a key nontechnical determinant of reliability in ML systems.Continue reading on Towards Data Science »

1 day, 15 hours назад @ towardsdatascience.com
Creating and Publishing Your Own Python Package for Absolute Beginners
Creating and Publishing Your Own Python Package for Absolute Beginners Creating and Publishing Your Own Python Package for Absolute Beginners

Create, build an publish a Python Package in 5 minutesContinue reading on Towards Data Science »

1 day, 15 hours назад @ towardsdatascience.com
From Hacks to Harmony: Structuring Product Rules in Recommendations
From Hacks to Harmony: Structuring Product Rules in Recommendations From Hacks to Harmony: Structuring Product Rules in Recommendations

Don’t let heuristics undermine your ML, learn to combine themIn today’s data-driven landscape, recommendation systems power everything from social media feeds to e-commerce. While it’s tempting to think that machine learning algorithms do all the heavy lifting, that’s only half the story. Real-world systems often rely on a mix of machine learning and heuristic rules — commonly referred to as product rules, business rules, or simply hacks — to generate the most relevant recommendations.For example:You can’t recommend tracks from the same artist too often;You should include content from subscriptions in the feed, but not overwhelm it;If a user has already disliked a certain category or author…

1 day, 15 hours назад @ towardsdatascience.com
Now You See Me (CME): Concept-based Model Extraction
Now You See Me (CME): Concept-based Model Extraction Now You See Me (CME): Concept-based Model Extraction

A label-efficient approach to Concept-based ModelsFrom the AIMLAI workshop paper presented at the CIKM conference: “Now You See Me (CME): Concept-based Model Extraction” (GitHub)Visual abstract. Image by the author.TL;DRProblem — Deep Neural Network models are black boxes, which cannot be interpreted directly. As a result — it is difficult to build trust in such models. Existing methods, such as Concept Bottleneck Models, make such models more interpretable, but require a high annotation cost for annotating underlying conceptsKey Innovation — A method for generating Concept-based Models in a weakly-supervised fashion, requiring vastly fewer annotations as a resultSolution — Our Concept-base…

2 days, 1 hour назад @ towardsdatascience.com
Exploring what makes an AI Ethics Toolkit tick
Exploring what makes an AI Ethics Toolkit tick Exploring what makes an AI Ethics Toolkit tick

Exploring What Makes an AI Ethics Toolkit TickAI Ethics Toolkits are everywhere, but do we really understand them?Photo by Todd Quackenbush on Unsplash — It’s time to dismantle an AI Ethics ToolkitIntroductionAs AI systems’ use in applications with critical implications continue to multiply, experts have been calling for more participatory and value-conscious practices when designing these systems. There are a number of benefits that increased stakeholder participation can bring to AI systems design, including making them more inclusive, combating existing biases, and providing accountability. In response, the field of AI ethics has produced a significant number of toolkits in recent years.…

2 days, 5 hours назад @ towardsdatascience.com
Quantifying GPT-4’s Hidden Regressions Over Time
Quantifying GPT-4’s Hidden Regressions Over Time Quantifying GPT-4’s Hidden Regressions Over Time

Part 3 of a study on generative AI usage and testingPhoto by Randy Fath on UnsplashGPT-4 is bigger and better than GPT-3. GPT-4 can draft up eloquent speeches, pass standardized exams, and even interpret images. Since its release on March 14, 2023, OpenAI continues to iterate and update GPT-4 to improve its performance for the millions of queries it receives each day. However, is the latest version of GPT-4 in OpenAI’s API, called “gpt-4”, actually better than the initial version from March, called “gpt-4–0314”?From the perspective of a machine learning engineer at Kolena, this article is a continuation in a series of discussions highlighting a testing paradigm for LLMs, comparing the perfo…

2 days, 5 hours назад @ towardsdatascience.com
Use Deep Learning to Generate Fantasy Character Names: Build a Language Model from Scratch
Use Deep Learning to Generate Fantasy Character Names: Build a Language Model from Scratch Use Deep Learning to Generate Fantasy Character Names: Build a Language Model from Scratch

Can a language model invent unique fantasy character names? Let’s build it from scratchContinue reading on Towards Data Science »

2 days, 5 hours назад @ towardsdatascience.com
Monte Carlo Data Monte Carlo Data
последний пост 1 week, 3 days назад
Monte Carlo Recognized as the #1 Data Observability Platform by G2 for Second Quarter in a Row
Monte Carlo Recognized as the #1 Data Observability Platform by G2 for Second Quarter in a Row

For the 2nd quarter in a row, Monte Carlo was named the #1 Data Observability Platform by G2. Find out why.

1 week, 3 days назад @ montecarlodata.com
Enabling a Self-Serve Data Culture at Whatnot with Data Observability
Enabling a Self-Serve Data Culture at Whatnot with Data Observability

To meet the needs of hypergrowth, 300-person e-commerce startup Whatnot built and scaled a self-serve data culture, powered by Snowflake, Looker, and Monte Carlo for data observability. Here's how.

1 week, 4 days назад @ montecarlodata.com
How Tenable Executes DataOps with Monte Carlo and Snowflake
How Tenable Executes DataOps with Monte Carlo and Snowflake

We reduced the average throughput of data in our Tenable One application pipeline by 33% within the first 3 months. Here’s how.

2 weeks, 2 days назад @ montecarlodata.com
Databricks Lakehouse Monitoring vs. Data Observability – What’s the Difference?
Databricks Lakehouse Monitoring vs. Data Observability – What’s the Difference?

Lakehouse Monitoring is a great option to monitor a specific table or model, but building reliable systems at scale requires data observability. Here’s why.

3 weeks, 2 days назад @ montecarlodata.com
Why We Built Our Feature Store in Snowflake’s Snowpark (And Moved Away From SQL)
Why We Built Our Feature Store in Snowflake’s Snowpark (And Moved Away From SQL)

Defining features in SQL worked for our feature store…until it didn’t. Here is how and why we decided to take advantage of Snowpark.

3 weeks, 3 days назад @ montecarlodata.com
What’s Next for the Modern Data and AI Stack? 5 Predictions from Databricks’ SVP of Products, Adam Conway
What’s Next for the Modern Data and AI Stack? 5 Predictions from Databricks’ SVP of Products, Adam Conway

Databricks SVP of Products Adam Conway discusses his take on future of the data and AI stack, including data observability, generative AI, and the lakehouse.

3 weeks, 6 days назад @ montecarlodata.com
Data Warehouse vs Data Lake vs Data Lakehouse: Definitions, Similarities, and Differences
Data Warehouse vs Data Lake vs Data Lakehouse: Definitions, Similarities, and Differences

Struggling to decide whether to invest in a data warehouse vs. data lake vs. lakehouse? Here's everything you need to know to make this decision.

1 month назад @ montecarlodata.com
Monte Carlo’s Newest Feature Optimizes Data Product Performance and Cost
Monte Carlo’s Newest Feature Optimizes Data Product Performance and Cost

Easily detect and resolve data pipeline performance issues to optimize reliability, user experience, and cost with Monte Carlo Performance

1 month назад @ montecarlodata.com
Organizing Generative AI Teams: 5 Lessons Learned From Data Science
Organizing Generative AI Teams: 5 Lessons Learned From Data Science

LLMs hold tremendous promise, but generating sustainable value will require some thought as to how you organize generative AI teams.

1 month назад @ montecarlodata.com
ETL vs. Data Pipelines: A Quick Guide for the Hopelessly Confused
ETL vs. Data Pipelines: A Quick Guide for the Hopelessly Confused

Understand how ETL fits into the broader concept of data pipelines and why it's so popular.

1 month, 1 week назад @ montecarlodata.com
How TOCA Football Achieved Their Data Quality GOOOOOOAL!
How TOCA Football Achieved Their Data Quality GOOOOOOAL!

TOCA’s data team got off the sidelines, regained data trust, and maximized performance with an assist from data observability.

1 month, 1 week назад @ montecarlodata.com
On-Premise vs Cloud: Where Does the Future of Data Storage Lie?
On-Premise vs Cloud: Where Does the Future of Data Storage Lie?

The modern data stacks allow you to do things differently, not just at a larger scale. Take advantage of it.

1 month, 1 week назад @ montecarlodata.com
What is a Data Engineering Workflow? (And How to Set One Up)
What is a Data Engineering Workflow? (And How to Set One Up)

Who said data engineering was hard? Workflows are your key to executing DataOps tasks with reliability and scale. This guide will walk you through it all.

1 month, 2 weeks назад @ montecarlodata.com
5 Ways Generative AI Changes How Firms Approach Data (And How It Doesn’t)
5 Ways Generative AI Changes How Firms Approach Data (And How It Doesn’t)

Experts from venture capital, Snowflake, and Monte Carlo discuss how generative AI will benefit data teams…and the challenges they must help solve.

1 month, 2 weeks назад @ montecarlodata.com
Pioneering Data Observability: Data, Code, Infrastructure, & AI
Pioneering Data Observability: Data, Code, Infrastructure, & AI

Understanding the past, present, and future of architecting reliable data systems.

1 month, 2 weeks назад @ montecarlodata.com
DE Telegram
DataEng DataEng
последний пост 5 days, 14 hours назад
Планы на среду: прокачать SQL и расчет продуктовых метрик!📣 20 сентября в 19:00 по Мск пройдет бесплатный live-интенсив по теме: “Расчет продуктовых метрик с помощью SQL”.Мы проводили такой интенсив в прошлом месяце, но многие не успели на него записаться,
Планы на среду: прокачать SQL и расчет продуктовых метрик!📣 20 сентября в 19:00 по Мск пройдет бесплатный live-интенсив по теме: “Расчет продуктовых метрик с помощью SQL”.Мы проводили такой интенсив в прошлом месяце, но многие не успели на него записаться,

Планы на среду: прокачать SQL и расчет продуктовых метрик!📣 20 сентября в 19:00 по Мск пройдет бесплатный live-интенсив по теме: “Расчет продуктовых метрик с помощью SQL”.Мы проводили такой интенсив в прошлом месяце, но многие не успели на него записаться, а очень хотели — поэтому мы решили, почему бы не провести его еще раз 😍А еще он очень понравился участникам, и мы собрали много положительного фидбека 💫👉🏻 На live-интенсиве мы с вами подключимся к реальной облачной базе PostgreSQL и с помощью SQL рассчитаем основные продуктовые метрики онлайн-сервиса:* Activation rate * MAU* ARPU и ARPPU * другие метрики На интенсиве вы узнаете:◾️ Как используют SQL в реальной работе — вы сможете сохранит…

5 days, 14 hours назад @ t.me
Обзор новых фич в новой версии PostgreSQL 16: https://www.youtube.com/watch?v=M7m3A68CTJg
Обзор новых фич в новой версии PostgreSQL 16: https://www.youtube.com/watch?v=M7m3A68CTJg

Обзор новых фич в новой версии PostgreSQL 16: https://www.youtube.com/watch?v=M7m3A68CTJg

6 days, 9 hours назад @ t.me
А вы хотите успешно пройти собеседование на аналитика? 🚀📣 Всем привет! Хотим пригласить вас на бесплатный 5-дневный марафон-подготовку к собеседованиям на позицию аналитика данных! 🗓 Марафон начнется 14 сентября!Для кого наш марафон?👉 Для всех, кто хочет
А вы хотите успешно пройти собеседование на аналитика? 🚀📣 Всем привет! Хотим пригласить вас на бесплатный 5-дневный марафон-подготовку к собеседованиям на позицию аналитика данных! 🗓 Марафон начнется 14 сентября!Для кого наш марафон?👉 Для всех, кто хочет

А вы хотите успешно пройти собеседование на аналитика? 🚀📣 Всем привет! Хотим пригласить вас на бесплатный 5-дневный марафон-подготовку к собеседованиям на позицию аналитика данных! 🗓 Марафон начнется 14 сентября!Для кого наш марафон?👉 Для всех, кто хочет повысить свои шансы на успешное прохождение собеседований на аналитика данных.👉 Для тех, кто уже сталкивался с провальными собеседованиями и тестированиями и хочет избежать таких ошибок в будущем.Почему стоит присоединиться к нашему марафону? 💡◾️ Получите ценную информацию об оценке своих навыков.◾️ Разберетесь с техническими вопросами, которые могут вас ожидать на собеседованиях.◾️ Узнаете секреты успешного прохождения собеседований в ТОП-…

1 week, 4 days назад @ t.me
Аналитик-разработчик в области автоматизации процессов ИБЯндексМосква, СПБ #гибридjunior, middleКоманда безопасности Яндекс 360 ищет энергичного эксперта по ИБ для автоматизации различных компонент СУИБ.Что нужно делать:- искать оптимальные пути для автома
Аналитик-разработчик в области автоматизации процессов ИБЯндексМосква, СПБ #гибридjunior, middleКоманда безопасности Яндекс 360 ищет энергичного эксперта по ИБ для автоматизации различных компонент СУИБ.Что нужно делать:- искать оптимальные пути для автома

Аналитик-разработчик в области автоматизации процессов ИБЯндексМосква, СПБ #гибридjunior, middleКоманда безопасности Яндекс 360 ищет энергичного эксперта по ИБ для автоматизации различных компонент СУИБ.Что нужно делать:- искать оптимальные пути для автоматизации процессов и метрик ИБ;- создавать автоматизированные реестры данных;- разрабатывать и имплементировать подходы к взаимодействию разных подсистем;- внедрять архитектурные решения по улучшению процессов обеспечения ИБ и мер защиты;- взаимодействовать с разработчиками и менеджерами продуктов и сервисов в рамках автоматизации процессов.Мы ждем, что вы:- знаете ключевые концепции и технологии обеспечения ИБ;- понимаете устройство *nix-с…

3 weeks, 2 days назад @ t.me
Всем привет!Требуется Developer Advocate Data Platform в Yandex CloudПозиция: Developer Advocate Data PlatformЛокация: Москва (гибридный формат работы)Занятость: FulltimeКомпания: Yandex Cloud ⛅️#вакансия #Москва #bigData #fulltime #Sql #NoSql Многофункцио
Всем привет!Требуется Developer Advocate Data Platform в Yandex CloudПозиция: Developer Advocate Data PlatformЛокация: Москва (гибридный формат работы)Занятость: FulltimeКомпания: Yandex Cloud ⛅️#вакансия #Москва #bigData #fulltime #Sql #NoSql Многофункцио

Всем привет!Требуется Developer Advocate Data Platform в Yandex CloudПозиция: Developer Advocate Data PlatformЛокация: Москва (гибридный формат работы)Занятость: FulltimeКомпания: Yandex Cloud ⛅️#вакансия #Москва #bigData #fulltime #Sql #NoSql Многофункциональная облачная платформа Yandex Cloud помогает компаниям и частным разработчикам создавать и совершенствовать цифровые сервисы и приложения. С момента запуска в сентябре 2018 года выручка и аудитория Yandex Cloud выросли в десятки раз, а сегодня платформой ежедневно пользуются десятки тысяч клиентов. Продуктовая группа Data Platform включает ClickHouse, PostgreSQL, Greenplum®, OpenSearch, Apache Kafka®, Apache Spark™, Data Transfer и дру…

3 weeks, 4 days назад @ t.me
Как работают с бигдатой в «тяжёлом диджитале» и что спрятано в хранилище данных СИБУРа? Приходите разбираться вместе на DDS Night! 30 августа в 18:00 инженеры и архитекторы данных СИБУР Диджитал расскажут, как в компании разработали методологию Детального
Как работают с бигдатой в «тяжёлом диджитале» и что спрятано в хранилище данных СИБУРа? Приходите разбираться вместе на DDS Night! 30 августа в 18:00 инженеры и архитекторы данных СИБУР Диджитал расскажут, как в компании разработали методологию Детального Как работают с бигдатой в «тяжёлом диджитале» и что спрятано в хранилище данных СИБУРа? Приходите разбираться вместе на DDS Night! 30 августа в 18:00 инженеры и архитекторы данных СИБУР Диджитал расскажут, как в компании разработали методологию Детального

Как работают с бигдатой в «тяжёлом диджитале» и что спрятано в хранилище данных СИБУРа? Приходите разбираться вместе на DDS Night! 30 августа в 18:00 инженеры и архитекторы данных СИБУР Диджитал расскажут, как в компании разработали методологию Детального Слоя Хранилища на базе методологий Data Vault 2.0 и Anchor Modeling,и построили детальный слой данных с ее применением.Рекомендуем митап архитекторам и разработчикам систем автоматизации процессов разработки DDS. Это отличная возможность узнать, как оптимизировать процесс разработки DDS, да и в целом расспросить обо всём экспертов по данным в лидере российской нефтегазохимии.Митап пройдет онлайн в следующую среду: успейте зарегистрироватьс…

1 month назад @ t.me
Airflow 2.7.0Вчера состоялся большой релиз новой версии самого популярного Workflow менеджера в Python: Apache Airflow 2.7.0Из новых фишечек:— Setup and Teardown tasks— Cluster Activity UI— OpenLineage built-in integrationУлучшения:— Убрали поддержку Pytho
Airflow 2.7.0Вчера состоялся большой релиз новой версии самого популярного Workflow менеджера в Python: Apache Airflow 2.7.0Из новых фишечек:— Setup and Teardown tasks— Cluster Activity UI— OpenLineage built-in integrationУлучшения:— Убрали поддержку Pytho

Airflow 2.7.0Вчера состоялся большой релиз новой версии самого популярного Workflow менеджера в Python: Apache Airflow 2.7.0Из новых фишечек:— Setup and Teardown tasks— Cluster Activity UI— OpenLineage built-in integrationУлучшения:— Убрали поддержку Python 3.7— В рамках улучшения безопасности Airflow запретили функцию проверки Connections в UI— Новый Graph View теперь используется по умолчанию, старую версию удалили— При обновлении версии рекомендуется накатывать миграции через команду airflow db migrateПолный список можно посмотреть тут.

1 month назад @ t.me
SmartData 2023 — 6-7 сентября в онлайне, 13-14 сентября офлайн в Москве (с возможностью подключиться к трансляции).За 4 дня конференции спикеры расскажут про устройство платформ данных, сравнят подходы к их обработке, а также подробно разберут плюсы и мину
SmartData 2023 — 6-7 сентября в онлайне, 13-14 сентября офлайн в Москве (с возможностью подключиться к трансляции).За 4 дня конференции спикеры расскажут про устройство платформ данных, сравнят подходы к их обработке, а также подробно разберут плюсы и мину SmartData 2023 — 6-7 сентября в онлайне, 13-14 сентября офлайн в Москве (с возможностью подключиться к трансляции).За 4 дня конференции спикеры расскажут про устройство платформ данных, сравнят подходы к их обработке, а также подробно разберут плюсы и мину

SmartData 2023 — 6-7 сентября в онлайне, 13-14 сентября офлайн в Москве (с возможностью подключиться к трансляции).За 4 дня конференции спикеры расскажут про устройство платформ данных, сравнят подходы к их обработке, а также подробно разберут плюсы и минусы различных решений и фреймворков.А еще вас ждут живые дискуссии, круглые столы, новые знакомства и возможность перезагрузиться от рабочей рутины как в онлайне, так и в офлайне. В офлайне будет еще больше нетворкинга и афтерпати для всех участников.Посетить конференцию можно за счет компании.Но если покупаете билет самостоятельно, то ищите его на вкладке «Для частных лиц». По промокоду нашего канала он будет дешевле — dataengУзнать подроб…

1 month, 2 weeks назад @ t.me
В блоге у Werner Vogels (тех. дир Amazon), я наткнулся на гостевой пост (автор Andrew Warfield) про историю популярного распределенного хранилища Amazon S3: Building and operating a pretty big storage system called S3
В блоге у Werner Vogels (тех. дир Amazon), я наткнулся на гостевой пост (автор Andrew Warfield) про историю популярного распределенного хранилища Amazon S3: Building and operating a pretty big storage system called S3

В блоге у Werner Vogels (тех. дир Amazon), я наткнулся на гостевой пост (автор Andrew Warfield) про историю популярного распределенного хранилища Amazon S3: Building and operating a pretty big storage system called S3

1 month, 3 weeks назад @ t.me
В AWS Big Data блоге вышла статья про Dimension Modeling по Кимбалу в Amazon Redshift: https://aws.amazon.com/ru/blogs/big-data/dimensional-modeling-in-amazon-redshift/.Мне б эту статью в 2019 году, когда я мучился со снежинкой на Redshift, а в итоге забил
В AWS Big Data блоге вышла статья про Dimension Modeling по Кимбалу в Amazon Redshift: https://aws.amazon.com/ru/blogs/big-data/dimensional-modeling-in-amazon-redshift/.Мне б эту статью в 2019 году, когда я мучился со снежинкой на Redshift, а в итоге забил

В AWS Big Data блоге вышла статья про Dimension Modeling по Кимбалу в Amazon Redshift: https://aws.amazon.com/ru/blogs/big-data/dimensional-modeling-in-amazon-redshift/.Мне б эту статью в 2019 году, когда я мучился со снежинкой на Redshift, а в итоге забил и денормализовал всё.

2 months назад @ t.me
Podlodka #329 – Data-engineeringЧтобы принимать разумные решения, нужны данные. А чтобы данные были качественные и своевременные – нужны дата-инженеры! Кто они, чем занимаются и при чем тут биг дата – выясняем с Глебом Кантеровым.🎧 Слушать выпуск
Podlodka #329 – Data-engineeringЧтобы принимать разумные решения, нужны данные. А чтобы данные были качественные и своевременные – нужны дата-инженеры! Кто они, чем занимаются и при чем тут биг дата – выясняем с Глебом Кантеровым.🎧 Слушать выпуск Podlodka #329 – Data-engineeringЧтобы принимать разумные решения, нужны данные. А чтобы данные были качественные и своевременные – нужны дата-инженеры! Кто они, чем занимаются и при чем тут биг дата – выясняем с Глебом Кантеровым.🎧 Слушать выпуск

Podlodka #329 – Data-engineeringЧтобы принимать разумные решения, нужны данные. А чтобы данные были качественные и своевременные – нужны дата-инженеры! Кто они, чем занимаются и при чем тут биг дата – выясняем с Глебом Кантеровым.🎧 Слушать выпуск

2 months, 1 week назад @ t.me
Beeline Data Engineering Meetup: Решение бизнес-задач с помощью данных🗓18 июля, 17:00 (МСК, GMT +3)🌐ОнлайнВ программе:✔️ Максим Петров — «ETL Pipelines как микросервисы»Внедрение микросервисов на ETL-потоках для создания системы со встроенными аналитически
Beeline Data Engineering Meetup: Решение бизнес-задач с помощью данных🗓18 июля, 17:00 (МСК, GMT +3)🌐ОнлайнВ программе:✔️ Максим Петров — «ETL Pipelines как микросервисы»Внедрение микросервисов на ETL-потоках для создания системы со встроенными аналитически Beeline Data Engineering Meetup: Решение бизнес-задач с помощью данных🗓18 июля, 17:00 (МСК, GMT +3)🌐ОнлайнВ программе:✔️ Максим Петров — «ETL Pipelines как микросервисы»Внедрение микросервисов на ETL-потоках для создания системы со встроенными аналитически

Beeline Data Engineering Meetup: Решение бизнес-задач с помощью данных🗓18 июля, 17:00 (МСК, GMT +3)🌐ОнлайнВ программе:✔️ Максим Петров — «ETL Pipelines как микросервисы»Внедрение микросервисов на ETL-потоках для создания системы со встроенными аналитическими возможностями. ✔️ Андрей Чучалов — «Как оптимизировать параметры запуска приложения Spark — ищем проблемы и повышаем производительность»Доклад о том, как выявить ошибочную конфигурацию приложения, рассчитать параметры работы и эффективно использовать ресурсы кластера. ✔️ Владислав Шевченко, Оксана Солдатова — «Как мы управляем данными с помощью каталога данных»Как в Альфа-Банке и билайне выбирался и внедрялся каталог данных: что от него…

2 months, 1 week назад @ t.me
Видите ли вы целостно все составные части системы, которую разрабатываете? Если нет — научиться этому поможет курс System Design от Валерия Бабушкина, Vice President, Data Science в Blockchainꓸcom.За 4 недели вы поймёте, как дизайнить сервис такси, приложе
Видите ли вы целостно все составные части системы, которую разрабатываете? Если нет — научиться этому поможет курс System Design от Валерия Бабушкина, Vice President, Data Science в Blockchainꓸcom.За 4 недели вы поймёте, как дизайнить сервис такси, приложе Видите ли вы целостно все составные части системы, которую разрабатываете? Если нет — научиться этому поможет курс System Design от Валерия Бабушкина, Vice President, Data Science в Blockchainꓸcom.За 4 недели вы поймёте, как дизайнить сервис такси, приложе

Видите ли вы целостно все составные части системы, которую разрабатываете? Если нет — научиться этому поможет курс System Design от Валерия Бабушкина, Vice President, Data Science в Blockchainꓸcom.За 4 недели вы поймёте, как дизайнить сервис такси, приложение для знакомств и разные другие виды высоконагруженных систем.Научитесь собирать требования, оценивать нагрузку, выбирать подходящие СУБД, масштабировать системы и повышать их надёжность и отзывчивость, а также выделять и последовательно проектировать подсистемы для хранения данных, поиска и аналитики как своими силами, так и с помощью готовых продуктов. А также поймёте, как устроены собеседования в Big Tech, и получите детальный план от…

2 months, 2 weeks назад @ t.me
Ребята из PostHog (сервис продуктовой аналитики) выложили в Open Source интересную балалайку HouseWatch. Это веб-сервис, разработанный на Django и React для управления и мониторинга ClickHouse-кластером. PostHog активный пользователь ClickHouse, у них в бл
Ребята из PostHog (сервис продуктовой аналитики) выложили в Open Source интересную балалайку HouseWatch. Это веб-сервис, разработанный на Django и React для управления и мониторинга ClickHouse-кластером. PostHog активный пользователь ClickHouse, у них в бл

Ребята из PostHog (сервис продуктовой аналитики) выложили в Open Source интересную балалайку HouseWatch. Это веб-сервис, разработанный на Django и React для управления и мониторинга ClickHouse-кластером. PostHog активный пользователь ClickHouse, у них в блоге есть даже занятный пост про сравнение Apache Druid и ClickHouse. Если вы активно используете ClickHouse в продакшене, то рекомендую присмотреться и попробовать в деле.

3 months, 1 week назад @ t.me
Наконец в сети стали доступны доклады с прошедшей конфы PyCon US 2023. Я отобрал для вас наиболее интересные топики с т.з. data engineering и анализа данных:— Simon Willison: Data analysis with SQLite and Python— Matt Harrison: Getting Started with Polars—
Наконец в сети стали доступны доклады с прошедшей конфы PyCon US 2023. Я отобрал для вас наиболее интересные топики с т.з. data engineering и анализа данных:— Simon Willison: Data analysis with SQLite and Python— Matt Harrison: Getting Started with Polars—

Наконец в сети стали доступны доклады с прошедшей конфы PyCon US 2023. Я отобрал для вас наиболее интересные топики с т.з. data engineering и анализа данных:— Simon Willison: Data analysis with SQLite and Python— Matt Harrison: Getting Started with Polars— Bert Wagner: Cross-Server Data Joins on Slow Networks with Python— Brandt Bucher: Inside CPython 3.11's new specializing, adaptive interpreter— A. Jesse Jiryu Davis: Consistency and isolation for Python programmers— Eric Snow: A Per-Interpreter GIL: Concurrency and Parallelism with Subinterpreters— Mark Shannon: How we are making CPython faster. Past, present and future— Paolo Melchiorre: A pythonic full-text search— Samuel Colvin: How Py…

3 months, 3 weeks назад @ t.me
Инжиниринг Данных Инжиниринг Данных
последний пост 20 часов назад
#weeklydatanewsdump Самое интересное за последнее время - это оживления рынка - больше вакансий, компании планируют свое IPO, или ожидают поглощения, меньше увольнений и самого страха увольнения, снова инвестиции в data компании. Единственное, что я не зам
#weeklydatanewsdump Самое интересное за последнее время - это оживления рынка - больше вакансий, компании планируют свое IPO, или ожидают поглощения, меньше увольнений и самого страха увольнения, снова инвестиции в data компании. Единственное, что я не зам

#weeklydatanewsdump Самое интересное за последнее время - это оживления рынка - больше вакансий, компании планируют свое IPO, или ожидают поглощения, меньше увольнений и самого страха увольнения, снова инвестиции в data компании. Единственное, что я не заметил это рост зарплат, хотят должны быть 10% в год к base pay на рынке. Вот работаете год за X, в следующем году у вас будет X+2% (если повезет), а на рынке уже можно просить X+10%-15%, поэтому сидеть на одной работе это упущенная выгода, если вам конечно важна ваша компенсация, так как для многих от "скакунов" появляется презрительная ухмылка. Хотя "скакуны" это двигатель прогресса по части компенсации.Другой момент - это стоимость рынка …

20 часов назад @ t.me
🔬Еще есть интересный paper - What Predicts Software Developers’ Productivity?Organizations have a variety of options to help their software developers become their most productive selves, from modifying office layouts, to investing in better tools, to clea
🔬Еще есть интересный paper - What Predicts Software Developers’ Productivity?Organizations have a variety of options to help their software developers become their most productive selves, from modifying office layouts, to investing in better tools, to clea

🔬Еще есть интересный paper - What Predicts Software Developers’ Productivity?Organizations have a variety of options to help their software developers become their most productive selves, from modifying office layouts, to investing in better tools, to cleaning up the source code. But which options will have the biggest impact? Drawing from the literature in software engineering and industrial/organizational psychology to identify factors that correlate with productivity, we designed a survey that asked 622 developers across 3 companies about these productivity factors and about self-rated productivity. Our results suggest that the factors that most strongly correlate with self-rated product…

20 часов назад @ t.me
Кстати, у меня есть слайд из моей недавней презентации про рынок Северной Америке. На протяжении последних 8 лет я только и делал, что вечно искал работу, собеседовался и пытался нащупать, где и сколько платят. Все кто мне знает лично, знают, что мой любим
Кстати, у меня есть слайд из моей недавней презентации про рынок Северной Америке. На протяжении последних 8 лет я только и делал, что вечно искал работу, собеседовался и пытался нащупать, где и сколько платят. Все кто мне знает лично, знают, что мой любим Кстати, у меня есть слайд из моей недавней презентации про рынок Северной Америке. На протяжении последних 8 лет я только и делал, что вечно искал работу, собеседовался и пытался нащупать, где и сколько платят. Все кто мне знает лично, знают, что мой любим

Кстати, у меня есть слайд из моей недавней презентации про рынок Северной Америке. На протяжении последних 8 лет я только и делал, что вечно искал работу, собеседовался и пытался нащупать, где и сколько платят. Все кто мне знает лично, знают, что мой любимый вопрос, а сколько ты получаешь. Именно, чтобы понять как вообще все работает и какие перспективы есть, а может быть их и нет, как на примере Канадского рынка. Самое интересное, что ЗП в 200-300 в Канаде это реально, если например у вас удаленная работа + фриланс. Но конкуренция дикая, куча народа со всего мира приезжает в Канаду и готовы работать еду за 50т в год в нашей индустрии. Поэтому у меня уже есть свой железобетонный рецепт для …

2 days, 4 hours назад @ t.me
Последнее время все чащи возникают дискуссии у меня про жизнь в Канаде и США, всегда же интересно все сравнивать. Вот например статистика по Канаде из официального источника. Медиана зп (кстати очень близко к среднему) 40к, то есть на семью из 2х человек
Последнее время все чащи возникают дискуссии у меня про жизнь в Канаде и США, всегда же интересно все сравнивать. Вот например статистика по Канаде из официального источника.  Медиана зп (кстати очень близко к среднему) 40к, то есть на семью из 2х человек Последнее время все чащи возникают дискуссии у меня про жизнь в Канаде и США, всегда же интересно все сравнивать. Вот например статистика по Канаде из официального источника. Медиана зп (кстати очень близко к среднему) 40к, то есть на семью из 2х человек

Последнее время все чащи возникают дискуссии у меня про жизнь в Канаде и США, всегда же интересно все сравнивать. Вот например статистика по Канаде из официального источника. Медиана зп (кстати очень близко к среднему) 40к, то есть на семью из 2х человек это 80к. А 80к в год после налогов, это 4к-4.5к в месяц. Если взять средний рент в большом городе, это будет 2.5к. Если взять тоже самое в ипотеку то это будет 4к. То есть ипотека уже не доступна. Но еще надо первоначальный взнос тысяч 100, а как накопить, если жить от ЗП до ЗП. А ведь есть еще расходы на еду, одежду, связь и развлечения. А если работает только один человек? И самое интересно, компании, которые нанимают в Канаде абсолютно в…

2 days, 7 hours назад @ t.me
А это мощно - Cisco купил Splunk. Скорей всего будет как с Табло, когда душа продукта погибнет. Splunk был такой же уникальный продукт с большим сообществом, крутыми конференциями, идеями. Да и сам продукт топ. Я даже в 2014 году прошел множество тренингов
А это мощно - Cisco купил Splunk. Скорей всего будет как с Табло, когда душа продукта погибнет. Splunk был такой же уникальный продукт с большим сообществом, крутыми конференциями, идеями. Да и сам продукт топ. Я даже в 2014 году прошел множество тренингов

А это мощно - Cisco купил Splunk. Скорей всего будет как с Табло, когда душа продукта погибнет. Splunk был такой же уникальный продукт с большим сообществом, крутыми конференциями, идеями. Да и сам продукт топ. Я даже в 2014 году прошел множество тренингов по нему и сдал экзамены, а потом, когда решил уволиться руководство компании cleverdata стало орать на меня и трясти с меня деньги за обучение обратно😅, хорошо, что обошлось без рукоприкладства😳А в 2015 я даже хотел в Splunk пойти на работу в Торонто, но не прошёл собеседование👩‍💻Наверно такая судьба ждет все крутые продукты😞

3 days, 2 hours назад @ t.me
В потоке информации про generative AI и LLM затерялась информация про Amazon Alexa. После выхода ChatGPT все колонки превратились в тыкву, даже Алиса была намного умней и веселей с самого начала. Мне как бывшему инженеру Alexa было обидно и я все ждал ну к
В потоке информации про generative AI и LLM затерялась информация про Amazon Alexa. После выхода ChatGPT все колонки превратились в тыкву, даже Алиса была намного умней и веселей с самого начала. Мне как бывшему инженеру Alexa было обидно и я все ждал ну к

В потоке информации про generative AI и LLM затерялась информация про Amazon Alexa. После выхода ChatGPT все колонки превратились в тыкву, даже Алиса была намного умней и веселей с самого начала. Мне как бывшему инженеру Alexa было обидно и я все ждал ну когда же. Вроде наконец они решили добавить LLM и сделать более правильное решение. Прошло уже много времени и видать это не так просто добавить свой LLM, вот и статья вышла https://www.amazon.science/blog/alexa-unveils-new-speech-recognition-text-to-speech-technologies

3 days, 4 hours назад @ t.me
Давненько деньги никуда не инвестировались, и вот снова видим, как одни компании готовятся выйти на биржу (IPO), в другие компании в data инвестируются млны. А на картинке пост, на котором мы видим как две data компании получили денег почти одновременно.
Давненько деньги никуда не инвестировались, и вот снова видим, как одни компании готовятся выйти на биржу (IPO), в другие компании в data инвестируются млны.  А на картинке пост, на котором мы видим как две data компании получили денег почти одновременно. Давненько деньги никуда не инвестировались, и вот снова видим, как одни компании готовятся выйти на биржу (IPO), в другие компании в data инвестируются млны. А на картинке пост, на котором мы видим как две data компании получили денег почти одновременно.

Давненько деньги никуда не инвестировались, и вот снова видим, как одни компании готовятся выйти на биржу (IPO), в другие компании в data инвестируются млны. А на картинке пост, на котором мы видим как две data компании получили денег почти одновременно.

4 days назад @ t.me
So, you want to be a data pro with 6 figures salary. First of all you need a proper equipment 💻. But what to do if you can't afford 🍏 MacPro 16" M2? It is actually easier. So, your 1st laptop won't be Mac and you would probably stick to Linux or Windows.
So, you want to be a data pro with 6 figures salary. First of all you need a proper equipment 💻. But what to do if you can't afford  🍏 MacPro 16" M2? It is actually easier. So, your 1st laptop won't be Mac and you would probably stick to Linux or Windows. So, you want to be a data pro with 6 figures salary. First of all you need a proper equipment 💻. But what to do if you can't afford 🍏 MacPro 16" M2? It is actually easier. So, your 1st laptop won't be Mac and you would probably stick to Linux or Windows.

So, you want to be a data pro with 6 figures salary. First of all you need a proper equipment 💻. But what to do if you can't afford 🍏 MacPro 16" M2? It is actually easier. So, your 1st laptop won't be Mac and you would probably stick to Linux or Windows. You would need the following characteristics for your hardware:- 16 Gb RAM- 512 GB SSD hard drive- 14"-16" inches screen and ideally to hook into external monitor- core i7 or at least i5 processorThe brand new machine with these characteristics would cost a lot. That's why we highly recommend you to go with renewed equipment and choose models among Lenovo ThinkPad or Dell. The cost on Amazon would be around 450$. That is fair deal to start …

5 days, 8 hours назад @ t.me
Не бойтесь пробовать, или Как я стала программистом в возрасте далеко за 29 - статья и автор были забанены на хабре:)
Не бойтесь пробовать, или Как я стала программистом в возрасте далеко за 29 - статья и автор были забанены на хабре:)

Не бойтесь пробовать, или Как я стала программистом в возрасте далеко за 29 - статья и автор были забанены на хабре:)

5 days, 17 hours назад @ t.me
Привет! Подскажите мне по технике для записывания видео, если есть опыт? Мне бы хотелось немного проапгрейдить вариант, когда я записываю на телефон. По идее нужно:- камера и объектив- микрофон без проводной- свет- может есть еще чего из необходимого? Каки
Привет! Подскажите мне по технике для записывания видео, если есть опыт? Мне бы хотелось немного проапгрейдить вариант, когда я записываю на телефон. По идее нужно:- камера и объектив- микрофон без проводной- свет- может есть еще чего из необходимого? Каки

Привет! Подскажите мне по технике для записывания видео, если есть опыт? Мне бы хотелось немного проапгрейдить вариант, когда я записываю на телефон. По идее нужно:- камера и объектив- микрофон без проводной- свет- может есть еще чего из необходимого? Какие-то громоздкие штуки не хочу рассматривать, в идеале, чтобы было все мобильно.

6 days назад @ t.me
Крутое интервью Андрея Стыскина, директор в Amazon, ex-CEO Яндекс.ПоискВ этом видео Дмитрий Грац взял интервью у Андрея Стыскина, в котором они поговорили про подход к менеджменту в Amazon и чем он отличался от Яндекса. Андрей поделился своими впечатлениям
Крутое интервью Андрея Стыскина, директор в Amazon, ex-CEO Яндекс.ПоискВ этом видео Дмитрий Грац взял интервью у Андрея Стыскина, в котором они поговорили про подход к менеджменту в Amazon и чем он отличался от Яндекса. Андрей поделился своими впечатлениям

Крутое интервью Андрея Стыскина, директор в Amazon, ex-CEO Яндекс.ПоискВ этом видео Дмитрий Грац взял интервью у Андрея Стыскина, в котором они поговорили про подход к менеджменту в Amazon и чем он отличался от Яндекса. Андрей поделился своими впечатлениями от процессов найма, онбординга, принятия решений на основе письменной культуры (ревью документов). Напоследок была тема про жизнь в Лос-Анджелесе, куда переехал Андрей в феврале 2023 года. И чем жизнь там отличается от Москвы. В общем, это интересное интервью, после которого я решил в скором времени прочитать книгу "Working backwards", в которой можно подробнее узнать про культуру Amazon (пока я читал токльо Invent and Wander, про котору…

6 days, 6 hours назад @ t.me
Шо за биг дата?Алексаднр Сайков — мой коллега по дата инженерному цеху, выступил с презентацией про биг дату — что это вообще такое, чем там занимаются, на кой нужон дата инженер и вот это вот всё. Если тема интересует, а маркетинговые видосы с баззвордами
Шо за биг дата?Алексаднр Сайков — мой коллега по дата инженерному цеху, выступил с презентацией про биг дату — что это вообще такое, чем там занимаются, на кой нужон дата инженер и вот это вот всё. Если тема интересует, а маркетинговые видосы с баззвордами

Шо за биг дата?Алексаднр Сайков — мой коллега по дата инженерному цеху, выступил с презентацией про биг дату — что это вообще такое, чем там занимаются, на кой нужон дата инженер и вот это вот всё. Если тема интересует, а маркетинговые видосы с баззвордами надоели — смотрите запись его годного выступления на ютубе!

1 week, 3 days назад @ t.me
Сегодня был замечательный день, сразу отражает всю индустрию.Утром слушал о миграции с Azure Databricks на Snowflake. 👏В обед слушал о миграции с AWS Snowflake на Databricks, тут я бы даже сказал это не миграция, а больше как добавление еще одного продукта
Сегодня был замечательный день, сразу отражает всю индустрию.Утром слушал о миграции с Azure Databricks на Snowflake. 👏В обед слушал о миграции с AWS Snowflake на Databricks, тут я бы даже сказал это не миграция, а больше как добавление еще одного продукта

Сегодня был замечательный день, сразу отражает всю индустрию.Утром слушал о миграции с Azure Databricks на Snowflake. 👏В обед слушал о миграции с AWS Snowflake на Databricks, тут я бы даже сказал это не миграция, а больше как добавление еще одного продукта, который делает тоже самое.😔А под вечер я ковырял Redshift, где делаю прототип миграции AWS Athena на Redshift. 👨‍💻При этом абсолютно везде одинаковые проблемы - дорого/медленно/качество данных/legacy&tech debt. Вообще такие решения принимаются сверху. Меня вообще нигде не спросили, хотят я книгу написал про Snowflake, и 3 года внедрял Databricks, и с Redshift мы вообще знакомы с 2014 года.

1 week, 3 days назад @ t.me
"In 20 years only your children will remember that you worked late." - хороший пост от человека, кто был в VP в Amazon. Иногда я пишу - что нужно работать 24/7, чтобы чего-то добиться. Мой график иногда выглядит так:- понедельник - четверг - работаю 7 ут
"In 20 years only your children will remember that you worked late." - хороший пост от человека, кто был в VP в Amazon. Иногда я пишу - что нужно работать 24/7, чтобы чего-то добиться. Мой график иногда выглядит так:- понедельник - четверг - работаю 7 ут

"In 20 years only your children will remember that you worked late." - хороший пост от человека, кто был в VP в Amazon. Иногда я пишу - что нужно работать 24/7, чтобы чего-то добиться. Мой график иногда выглядит так:- понедельник - четверг - работаю 7 утра до 12 вечера- пятница обычный день- суббота - 5-6 часов работаю, пока дети в дополнительной школе- воскресенье как правило рабочий деньТо есть получается много. Сложно назвать что я работаю нон-стоп, но это значит я радом с ноутбуком, в каком-то смысле раб своего ноутбука (своих задач), а не наоборот.И многие люди в комментариях возразят - "да ну.... я лучше будут смотреть как дети растут/наслаждаться жизнью/или ваш вариант". С этим не по…

1 week, 5 days назад @ t.me
На работе я часто видел ссылки про data contracts и посты на эту тему от Chad Sanderson. С одной стороны темы data consumers/data producers не нова, а с другой стороны раз есть бизнес проблема, то почему бы не предложить решение. Товарищ запустил компанию
На работе я часто видел ссылки про data contracts и посты на эту тему от Chad Sanderson. С одной стороны темы data consumers/data producers не нова, а с другой стороны раз есть бизнес проблема, то почему бы не предложить решение. Товарищ запустил компанию

На работе я часто видел ссылки про data contracts и посты на эту тему от Chad Sanderson. С одной стороны темы data consumers/data producers не нова, а с другой стороны раз есть бизнес проблема, то почему бы не предложить решение. Товарищ запустил компанию и полчил 7лям для старта.Уверен тема и проблема уже мусолилась в стартапах. Поэтому аудитория то очень важная составляющая для успешного запуска компании.

1 week, 5 days назад @ t.me
Left Join Left Join
последний пост 2 days, 11 hours назад
Разве может робот написать симфонию? Теперь даНейросетями, генерирующими аудио, вряд ли кого-то удивишь (мы про них уже писали здесь и здесь, например), но новая разработка Stability AI заслуживает внимания. Это потенциально удобный и полезный инструмент д
Разве может робот написать симфонию? Теперь даНейросетями, генерирующими аудио, вряд ли кого-то удивишь (мы про них уже писали здесь и здесь, например), но новая разработка Stability AI заслуживает внимания. Это потенциально удобный и полезный инструмент д Разве может робот написать симфонию? Теперь даНейросетями, генерирующими аудио, вряд ли кого-то удивишь (мы про них уже писали здесь и здесь, например), но новая разработка Stability AI заслуживает внимания. Это потенциально удобный и полезный инструмент д

Разве может робот написать симфонию? Теперь даНейросетями, генерирующими аудио, вряд ли кого-то удивишь (мы про них уже писали здесь и здесь, например), но новая разработка Stability AI заслуживает внимания. Это потенциально удобный и полезный инструмент для контент-мейкеров.🔵 Stable Audio — диффузионная модель, которая создает музыку и звуковые эффекты по текстовому описанию. Ее натренировали на датасете из более чем 800 000 файлов, представленных AudioSparx — компанией, продающей стоковые аудио.🔵 Вопрос авторских прав, когда речь заходит о ИИ-контенте, стоит остро — спросите у художников, которые борются против обучения нейросетей на их работах. Использование материалов AudioSparx для тре…

2 days, 11 hours назад @ t.me
Google Bard: умный ИИ, который поможет вам в любых делахGoogle наконец-то представил экспериментального ИИ-помощника Bard, про которого мы уже писали весной. В его основе — языковая модель PaLM 2, которая умеет искать и анализировать информацию в интернете
Google Bard: умный ИИ, который поможет вам в любых делахGoogle наконец-то представил экспериментального ИИ-помощника Bard, про которого мы уже писали весной. В его основе — языковая модель PaLM 2, которая умеет искать и анализировать информацию в интернете Google Bard: умный ИИ, который поможет вам в любых делахGoogle наконец-то представил экспериментального ИИ-помощника Bard, про которого мы уже писали весной. В его основе — языковая модель PaLM 2, которая умеет искать и анализировать информацию в интернете

Google Bard: умный ИИ, который поможет вам в любых делахGoogle наконец-то представил экспериментального ИИ-помощника Bard, про которого мы уже писали весной. В его основе — языковая модель PaLM 2, которая умеет искать и анализировать информацию в интернете и в сервисах Google: в почте, среди документов на диске, на Youtube и так далее. Это позволяет Bard выполнять довольно сложные задачи:🔵 найти на Диске ваше резюме и подготовить сопроводительное письмо;🔵 составить маршрут путешествия, выбрав дату, рейс, отель и даже видео Youtube, чтобы убить время в дороге;🔵 написать текст по запросу и перепроверить его достоверность. Этого навыка многим людям не хватает, а у ИИ аж специальная кнопка есть…

3 days, 14 hours назад @ t.me
Еще один шаг на пути к работе в зарубежной IT-компанииЕсли ваши хард-скилы на самой высокой высоте, то от работы в европейской или американской компании вас может отделять лишь языковой барьер. Курс «Английский для аналитиков» от Яндекс Английского — отлич
Еще один шаг на пути к работе в зарубежной IT-компанииЕсли ваши хард-скилы на самой высокой высоте, то от работы в европейской или американской компании вас может отделять лишь языковой барьер. Курс «Английский для аналитиков» от Яндекс Английского — отлич Еще один шаг на пути к работе в зарубежной IT-компанииЕсли ваши хард-скилы на самой высокой высоте, то от работы в европейской или американской компании вас может отделять лишь языковой барьер. Курс «Английский для аналитиков» от Яндекс Английского — отлич

Еще один шаг на пути к работе в зарубежной IT-компанииЕсли ваши хард-скилы на самой высокой высоте, то от работы в европейской или американской компании вас может отделять лишь языковой барьер. Курс «Английский для аналитиков» от Яндекс Английского — отличная возможность, чтобы его преодолеть, если вы хотите изменить свою профессиональную жизнь и присоединиться к международной команде!Программа обучения сфокусирована на рабочих кейсах и навыках, необходимых для успешного общения с интервьюерами и коллегами:🗣️ СамопрезентацияНаучитесь рассказывать о своей роли, задачах, сфере ответственности на поведенческом интервью и в неформальной беседе.🙌 Работа в командеОвладейте навыками стендапа, план…

4 days, 14 hours назад @ t.me
Еще больше эмодзи на все случаи жизниВопрос, которым вы вряд ли задавались, но мы все равно нашли ответ: сколько существует эмодзи? Как оказалось, в Unicode их сейчас больше 3000, и почти каждый год добавляются новые. Несмотря на такое разнообразие, времен
Еще больше эмодзи на все случаи жизниВопрос, которым вы вряд ли задавались, но мы все равно нашли ответ: сколько существует эмодзи? Как оказалось, в Unicode их сейчас больше 3000, и почти каждый год добавляются новые. Несмотря на такое разнообразие, времен Еще больше эмодзи на все случаи жизниВопрос, которым вы вряд ли задавались, но мы все равно нашли ответ: сколько существует эмодзи? Как оказалось, в Unicode их сейчас больше 3000, и почти каждый год добавляются новые. Несмотря на такое разнообразие, времен

Еще больше эмодзи на все случаи жизниВопрос, которым вы вряд ли задавались, но мы все равно нашли ответ: сколько существует эмодзи? Как оказалось, в Unicode их сейчас больше 3000, и почти каждый год добавляются новые. Несмотря на такое разнообразие, временами их все равно не хватает. Иногда кажется, чтобы идеально выразить мысль, нужен эмодзи с танцующей крысой.Или магистром Йодой.Или сиба-ину в шляпке.К счастью, благодаря нейросетям проблема решенаEmojiGen — приложение, которое генерирует эмодзи по запросу. Оно состоит из двух компонентов:🔵 Stable Diffusion, натренированная на эппловских эмодзи, создает изображение,🔵 Rembg удаляет фон.В результате получаются кастомные эмодзи, которые вы мо…

5 days, 13 hours назад @ t.me
LlamaIndex — фреймворк для работы с LLM и данными разных форматовОн упрощает как обучение нейросетей, так и обработку больших объемов информации. В него можно загружать таблицы, тексты, презентации, графики, изображениями, API, веб-страницы — практически л
LlamaIndex — фреймворк для работы с LLM и данными разных форматовОн упрощает как обучение нейросетей, так и обработку больших объемов информации. В него можно загружать таблицы, тексты, презентации, графики, изображениями, API, веб-страницы — практически л LlamaIndex — фреймворк для работы с LLM и данными разных форматовОн упрощает как обучение нейросетей, так и обработку больших объемов информации. В него можно загружать таблицы, тексты, презентации, графики, изображениями, API, веб-страницы — практически л

LlamaIndex — фреймворк для работы с LLM и данными разных форматовОн упрощает как обучение нейросетей, так и обработку больших объемов информации. В него можно загружать таблицы, тексты, презентации, графики, изображениями, API, веб-страницы — практически любые виды данных. LlamaIndex индексирует и анализирует их, чтобы ускорить поиск информации и интеграцию с внешними приложениями и нейросетями.Что это дает на практике?🔵 Удобный интерфейс для взаимодействия с LLM. Можно загрузить в LlamaIndex документ, а затем попросить краткое содержание или задать конкретный вопрос. Фреймворк обработает данные и запрос пользователя, передаст их нейросети, а та уже выдаст ответ.🔵 Объединение разных источни…

6 days, 8 hours назад @ t.me
Вот бы платили каждый раз, когда вы отвлекаетесь на игры…Думаете, просто это мечты? А вот и нет!Тинькофф добавил в свое приложение игру «Ряд наград». Механика — всем знакомые «три-в-ряд». У вас есть поле с разными элементами, собираете три или больше одина
Вот бы платили каждый раз, когда вы отвлекаетесь на игры…Думаете, просто это мечты? А вот и нет!Тинькофф добавил в свое приложение игру «Ряд наград». Механика — всем знакомые «три-в-ряд». У вас есть поле с разными элементами, собираете три или больше одина Вот бы платили каждый раз, когда вы отвлекаетесь на игры…Думаете, просто это мечты? А вот и нет!Тинькофф добавил в свое приложение игру «Ряд наград». Механика — всем знакомые «три-в-ряд». У вас есть поле с разными элементами, собираете три или больше одина

Вот бы платили каждый раз, когда вы отвлекаетесь на игры…Думаете, просто это мечты? А вот и нет!Тинькофф добавил в свое приложение игру «Ряд наград». Механика — всем знакомые «три-в-ряд». У вас есть поле с разными элементами, собираете три или больше одинаковых рядом по горизонтали или вертикали и зарабатываете очки.🔵 Игроки не просто убивают время в пробке или на скучном совещании, но и соревнуются за призы от банка и партнеров. За набранные очки выдают кэшбэки, скидки, промокоды, денежные вознаграждения до 300 000 рублей и авиабилеты. В сумме призовой фонд — больше 20 000 000.🔵 Головоломка будет доступна в приложении до 1 октября 2023 года, а 12 октября еще и пройдет розыгрыш призов по 50…

1 week назад @ t.me
Уходим в WhatsApp?Теперь у WhatsApp (принадлежит компании Meta, в РФ признанной экстремистской) тоже есть каналы! Новая фича доступна не везде, а в 150 странах, среди которых России (пока?) нет. На первый взгляд функционал такой же, как в Telegram, но есть
Уходим в WhatsApp?Теперь у WhatsApp (принадлежит компании Meta, в РФ признанной экстремистской) тоже есть каналы! Новая фича доступна не везде, а в 150 странах, среди которых России (пока?) нет. На первый взгляд функционал такой же, как в Telegram, но есть

Уходим в WhatsApp?Теперь у WhatsApp (принадлежит компании Meta, в РФ признанной экстремистской) тоже есть каналы! Новая фича доступна не везде, а в 150 странах, среди которых России (пока?) нет. На первый взгляд функционал такой же, как в Telegram, но есть отличия. Ключевое в их позиционировании— это особое внимание защите данных:🔵 Админы не смогут видеть номера телефонов подписчиков, подписчики не могут видеть номера админов, и никто не может видеть, на какие каналы подписаны другие люди.🔵 Сообщения удаляются из каналов через 30 дней.🔵 Владельцы каналов могут скрыть их из каталога, ограничить список подписчиков и запретить делать скриншоты и пересылать сообщения.Кроме тотальной секретности…

1 week, 1 day назад @ t.me
Идея, чем заняться сегодня вечером: добавить в календарь доклады, которые надо послушать на Yandex Scale 2023Yandex Cloud приглашает на конференцию, посвященную новым сервисам платформы, новостям индустрии и облачным технологиям в целом. Yandex Scale 2023
Идея, чем заняться сегодня вечером: добавить в календарь доклады, которые надо послушать на Yandex Scale 2023Yandex Cloud приглашает на конференцию, посвященную новым сервисам платформы, новостям индустрии и облачным технологиям в целом. Yandex Scale 2023 Идея, чем заняться сегодня вечером: добавить в календарь доклады, которые надо послушать на Yandex Scale 2023Yandex Cloud приглашает на конференцию, посвященную новым сервисам платформы, новостям индустрии и облачным технологиям в целом. Yandex Scale 2023

Идея, чем заняться сегодня вечером: добавить в календарь доклады, которые надо послушать на Yandex Scale 2023Yandex Cloud приглашает на конференцию, посвященную новым сервисам платформы, новостям индустрии и облачным технологиям в целом. Yandex Scale 2023 будет идти 2 дня:🔵 25 сентября — онлайн-открытие;🔵 26 сентября — основная часть.В расписании мероприятия больше 30 докладов от экспертов компании по темам Data Platform, Infra + K8s, Security, Digital Workplace, Serverless и ML. Смотреть можно онлайн и оффлайн. Если выберете второй вариант, есть шанс лично познакомиться с выступающими и задать все свои вопросы. А после — посетить afterparty!Программа очень насыщенная, так что мы рекомендуе…

1 week, 2 days назад @ t.me
Если проанализировать тернии, до звезд доберетесь быстрее!Посмотрите на фотографию. Вот так на самом деле выглядит Млечный путь, без фильтров и прочих ухищрений. Когда вы в последний раз видели нечто подобное? Если вы живете в городе, велика вероятность, ч
Если проанализировать тернии, до звезд доберетесь быстрее!Посмотрите на фотографию. Вот так на самом деле выглядит Млечный путь, без фильтров и прочих ухищрений. Когда вы в последний раз видели нечто подобное? Если вы живете в городе, велика вероятность, ч Если проанализировать тернии, до звезд доберетесь быстрее!Посмотрите на фотографию. Вот так на самом деле выглядит Млечный путь, без фильтров и прочих ухищрений. Когда вы в последний раз видели нечто подобное? Если вы живете в городе, велика вероятность, ч

Если проанализировать тернии, до звезд доберетесь быстрее!Посмотрите на фотографию. Вот так на самом деле выглядит Млечный путь, без фильтров и прочих ухищрений. Когда вы в последний раз видели нечто подобное? Если вы живете в городе, велика вероятность, что это было давно, да и вообще — редкость.Всему виной световое загрязнение. Домашние лампы, уличные фонари и фары машин делают жизнь удобнее и безопаснее, но создают над городами световые купола. Последствий для людей и окружающей среды много, и одно и из них — то, что большинство из нас не могут ночью из окна увидеть звездное небо, если только не уедут куда-нибудь подальше.Именно это и пришлось сделать Луисону Дюмону, основателю компании …

1 week, 3 days назад @ t.me
Klack: ASMR для пользователей MacЕсть ли что-то более умиротворяющее, чем стук клавиш механической клавиатуры? Есть, конечно, но согласитесь — звук в любом случае приятный.🔜 Пока все обсуждают презентацию Apple и цену на новый iPhone, мы вспомнили про клас
Klack: ASMR для пользователей MacЕсть ли что-то более умиротворяющее, чем стук клавиш механической клавиатуры? Есть, конечно, но согласитесь — звук в любом случае приятный.🔜 Пока все обсуждают презентацию Apple и цену на новый iPhone, мы вспомнили про клас Klack: ASMR для пользователей MacЕсть ли что-то более умиротворяющее, чем стук клавиш механической клавиатуры? Есть, конечно, но согласитесь — звук в любом случае приятный.🔜 Пока все обсуждают презентацию Apple и цену на новый iPhone, мы вспомнили про клас

Klack: ASMR для пользователей MacЕсть ли что-то более умиротворяющее, чем стук клавиш механической клавиатуры? Есть, конечно, но согласитесь — звук в любом случае приятный.🔜 Пока все обсуждают презентацию Apple и цену на новый iPhone, мы вспомнили про классное приложение на Mac. Если вас по какой-то причине не устраивает звук вашей клавиатуры (или у вас и вовсе та самая многострадальная «бабочка» из 2016-2019 годов), то Klack создан специально для вас. 🔵 Функция у него одна — генерировать и выдавать через динамики щелчки механических клавиш во время печати. Можно настроить звучание и громкость для достижения идеального ASMR-эффекта.🔵 Приложение платное и, судя по отзывам, стоит своих денег:…

1 week, 4 days назад @ t.me
На вопрос «Чем занимается инженер данных?» можно ответить по-разномуМожно совсем кратко — он выстраивает архитектуру данных, решает проблемы заказчика и делает его жизнь лучше.А можно подробнее и с наглядным примеромBetPawa — беттинговый сервис, который мн
На вопрос «Чем занимается инженер данных?» можно ответить по-разномуМожно совсем кратко — он выстраивает архитектуру данных, решает проблемы заказчика и делает его жизнь лучше.А можно подробнее и с наглядным примеромBetPawa — беттинговый сервис, который мн На вопрос «Чем занимается инженер данных?» можно ответить по-разномуМожно совсем кратко — он выстраивает архитектуру данных, решает проблемы заказчика и делает его жизнь лучше.А можно подробнее и с наглядным примеромBetPawa — беттинговый сервис, который мн

На вопрос «Чем занимается инженер данных?» можно ответить по-разномуМожно совсем кратко — он выстраивает архитектуру данных, решает проблемы заказчика и делает его жизнь лучше.А можно подробнее и с наглядным примеромBetPawa — беттинговый сервис, который много работает с OLTP, обработкой транзакций в реальном времени. Компания столкнулась с тем, что ее DWH не справляется с постоянным потоком данных. Они обрабатывались долго и не всегда корректно отображались в отчетах, а само хранилище работало медленно, ненадежно и требовало слишком много ресурсов.Мы спроектировали архитектуру для заказчика и выстроили новые процессы инжиниринга. В результате — быстрое, гибко масштабируемое DWH, которое раб…

1 week, 5 days назад @ t.me
Нейросеть, которая дала новую жизнь мемам нулевыхВсе выходные в твиттере происходило неожиданное возвращение 2000-х. Появились сотни, если не тысячи твитов, которые резко набрали популярность и это… мемы, которые стали своего рода классикой. Да-да, те самы
Нейросеть, которая дала новую жизнь мемам нулевыхВсе выходные в твиттере происходило неожиданное возвращение 2000-х. Появились сотни, если не тысячи твитов, которые резко набрали популярность и это… мемы, которые стали своего рода классикой. Да-да, те самы Нейросеть, которая дала новую жизнь мемам нулевыхВсе выходные в твиттере происходило неожиданное возвращение 2000-х. Появились сотни, если не тысячи твитов, которые резко набрали популярность и это… мемы, которые стали своего рода классикой. Да-да, те самы

Нейросеть, которая дала новую жизнь мемам нулевыхВсе выходные в твиттере происходило неожиданное возвращение 2000-х. Появились сотни, если не тысячи твитов, которые резко набрали популярность и это… мемы, которые стали своего рода классикой. Да-да, те самые видео «идущего к реке», «женщины, кандибобер которой — не то, о чем вы подумали», а также «отзыв на столовую с чаем, который делает из тебя человека». Только на английском!Как это случилось?Внимание пользователей было буквально приковано к Hey Gen — сервису, который может переводить короткие видео (30-50 секунд) с одного языка на другой (более 100 языков и акцентов). И если бы только переводить, тут нас уже совершенно не удивишь. При пер…

1 week, 6 days назад @ t.me
6,5 месяцев нужно, чтобы стать инженером данных с 9 проектами в портфолиоИменно столько длится курс Яндекс Практикума «Инженер Данных». Он рассчитан на начинающих специалистов и тех, кто хочет перейти в эту сферу из смежной — разработки или аналитики.Студе
6,5 месяцев нужно, чтобы стать инженером данных с 9 проектами в портфолиоИменно столько длится курс Яндекс Практикума «Инженер Данных». Он рассчитан на начинающих специалистов и тех, кто хочет перейти в эту сферу из смежной — разработки или аналитики.Студе 6,5 месяцев нужно, чтобы стать инженером данных с 9 проектами в портфолиоИменно столько длится курс Яндекс Практикума «Инженер Данных». Он рассчитан на начинающих специалистов и тех, кто хочет перейти в эту сферу из смежной — разработки или аналитики.Студе

6,5 месяцев нужно, чтобы стать инженером данных с 9 проектами в портфолиоИменно столько длится курс Яндекс Практикума «Инженер Данных». Он рассчитан на начинающих специалистов и тех, кто хочет перейти в эту сферу из смежной — разработки или аналитики.Студенты курса научатся:🔵 использовать различные инструменты для обработки данных — PostgreSQL, Kafka, Airflow и другие;🔵 проектировать пайплайны, создавать витрины и хранилища;🔵 применять полученные знания на реальных рабочих задачах.Обучение проходит онлайн и рассчитано примерно на 12 часов в неделю — удобно совмещать с работой или другими курсами. Оно включает в себя вебинары, практические задания и тренажеры.Во время обучения наставники рег…

2 weeks, 2 days назад @ t.me
Не любите данные? Вы просто не умеете их готовитьУверены, что все наши подписчики любят данные, но не удержались от этой шутки.Знаете, что такое Mise en place?Это французский кулинарный термин, который переводится как «ставить на место». Так называют подго
Не любите данные? Вы просто не умеете их готовитьУверены, что все наши подписчики любят данные, но не удержались от этой шутки.Знаете, что такое Mise en place?Это французский кулинарный термин, который переводится как «ставить на место». Так называют подго Не любите данные? Вы просто не умеете их готовитьУверены, что все наши подписчики любят данные, но не удержались от этой шутки.Знаете, что такое Mise en place?Это французский кулинарный термин, который переводится как «ставить на место». Так называют подго

Не любите данные? Вы просто не умеете их готовитьУверены, что все наши подписчики любят данные, но не удержались от этой шутки.Знаете, что такое Mise en place?Это французский кулинарный термин, который переводится как «ставить на место». Так называют подготовку ингредиентов, когда повара заранее отмеряют, нарезают и раскладывают по мискам продукты, чтобы не тратить время потом. Так овощи не сгорят, пока вы режете мясо, или не окажется вдруг в процессе готовки, что какого-то важного компонента не хватает.Этот подход можно использовать не только в кулинарии, но и в других областях, включая работу с данными. Их тоже надо подготовить, почистить и упорядочить. Как это сделать, рассказывает стать…

2 weeks, 2 days назад @ t.me
Если не знаете, как подступиться к SQL — начните с этого гайдаСразу предупреждаем: с телефона ссылку лучше не открывать.Авторы поставили себе задачу создать понятный, современный и дружелюбный к новичкам документ. В целом, у них получилось, но есть одно «н
Если не знаете, как подступиться к SQL — начните с этого гайдаСразу предупреждаем: с телефона ссылку лучше не открывать.Авторы поставили себе задачу создать понятный, современный и дружелюбный к новичкам документ. В целом, у них получилось, но есть одно «н Если не знаете, как подступиться к SQL — начните с этого гайдаСразу предупреждаем: с телефона ссылку лучше не открывать.Авторы поставили себе задачу создать понятный, современный и дружелюбный к новичкам документ. В целом, у них получилось, но есть одно «н

Если не знаете, как подступиться к SQL — начните с этого гайдаСразу предупреждаем: с телефона ссылку лучше не открывать.Авторы поставили себе задачу создать понятный, современный и дружелюбный к новичкам документ. В целом, у них получилось, но есть одно «но». О нем в конце, а пока расскажем, что интересного там есть:🔵 Самые основы — что такое SQL и как устроены базы данных;🔵 Анатомия запросов с разбором, из чего они состоят, как пишутся и какие вообще бывают;🔵 Доступное описание возможностей SQL — от базовых операций до более сложных концептов вроде CTE, оконных функций и подзапросов;🔵 Практические вопросы на закрепление материала.Гайд представляет собой большую доску разделенную на несколь…

2 weeks, 3 days назад @ t.me
SQLite на практике SQLite на практике
последний пост 2 months назад
Побег из карантина macOS и точный путь к расширениюСвежий релиз sqlpkg принес две приятные фичи:— Команда install автоматически убирает расширение из карантина macOS, чтобы можно было использовать без дополнительных приседаний.— Команда which печатает точн
Побег из карантина macOS и точный путь к расширениюСвежий релиз sqlpkg принес две приятные фичи:— Команда install автоматически убирает расширение из карантина macOS, чтобы можно было использовать без дополнительных приседаний.— Команда which печатает точн

Побег из карантина macOS и точный путь к расширениюСвежий релиз sqlpkg принес две приятные фичи:— Команда install автоматически убирает расширение из карантина macOS, чтобы можно было использовать без дополнительных приседаний.— Команда which печатает точный путь к установленному расширению, чтобы было проще загрузить его в SQLite.https://github.com/nalgeon/sqlpkg-cli/releases/0.2.0

2 months назад @ t.me
Перенести SQLite-расширения с одной машины на другуюНачиная с релиза 0.1.0, sqlpkg сохраняет информацию об установленных пакетах в специальном файле (sqlpkg.lock, он же локфайл). Используйте его, чтобы установить расширения на новой машине одной командой:s
Перенести SQLite-расширения с одной машины на другуюНачиная с релиза 0.1.0, sqlpkg сохраняет информацию об установленных пакетах в специальном файле (sqlpkg.lock, он же локфайл). Используйте его, чтобы установить расширения на новой машине одной командой:s

Перенести SQLite-расширения с одной машины на другуюНачиная с релиза 0.1.0, sqlpkg сохраняет информацию об установленных пакетах в специальном файле (sqlpkg.lock, он же локфайл). Используйте его, чтобы установить расширения на новой машине одной командой:sqlpkg installhttps://github.com/nalgeon/sqlpkg-cli/releases/0.1.0

2 months, 1 week назад @ t.me
SQL-файлы в песочницеКогда я запустил Sqlime, как-то забыл поддержать загрузку из .sql файлов. Песочница умела загружать бинарные SQLite-базы из локального файла или по урлу, GitHub-гисты, но не sql-файлы.Наверно я полагал, что люди в основном будут копипа
SQL-файлы в песочницеКогда я запустил Sqlime, как-то забыл поддержать загрузку из .sql файлов. Песочница умела загружать бинарные SQLite-базы из локального файла или по урлу, GitHub-гисты, но не sql-файлы.Наверно я полагал, что люди в основном будут копипа

SQL-файлы в песочницеКогда я запустил Sqlime, как-то забыл поддержать загрузку из .sql файлов. Песочница умела загружать бинарные SQLite-базы из локального файла или по урлу, GitHub-гисты, но не sql-файлы.Наверно я полагал, что люди в основном будут копипастить SQL руками, так что файлы им не нужны. Возможно, не так уж и ошибался — никто не попросил эту возможность.Но все же странновато для SQL-песочницы не уметь загружать SQL-файлы. Так что теперь она умеет ツЗаодно обновил иконки. Использовал svgrepo.com — опенсорсный репозиторий иконок, очень рекомендую.

2 months, 2 weeks назад @ t.me
Одна из моих любимых мелких штук в Sqlime — возможность выделить и запустить фрагмент запроса. Полезно, когда «распутываешь» сложный запрос.К тому же, ее было несложно реализовать. Ах, если бы все фичи были такими 🙂
Одна из моих любимых мелких штук в Sqlime — возможность выделить и запустить фрагмент запроса. Полезно, когда «распутываешь» сложный запрос.К тому же, ее было несложно реализовать. Ах, если бы все фичи были такими 🙂 Одна из моих любимых мелких штук в Sqlime — возможность выделить и запустить фрагмент запроса. Полезно, когда «распутываешь» сложный запрос.К тому же, ее было несложно реализовать. Ах, если бы все фичи были такими 🙂

Одна из моих любимых мелких штук в Sqlime — возможность выделить и запустить фрагмент запроса. Полезно, когда «распутываешь» сложный запрос.К тому же, ее было несложно реализовать. Ах, если бы все фичи были такими 🙂

2 months, 3 weeks назад @ t.me
Для начала добавил в реестр те расширения, которые пробовал сам, получилось около 60 пакетов
Для начала добавил в реестр те расширения, которые пробовал сам, получилось около 60 пакетов Для начала добавил в реестр те расширения, которые пробовал сам, получилось около 60 пакетов

Для начала добавил в реестр те расширения, которые пробовал сам, получилось около 60 пакетов

2 months, 3 weeks назад @ t.me
Реестр и менеджер пакетов для SQLiteРасширений для SQLite становится все больше, и я решил, что пришло время сделать менеджер пакетов!Встречайте sqlpkg - это реестр пакетов с веб-интерфейсом и одноименный консольный менеджер пакетов. Надеюсь, вам пригодитс
Реестр и менеджер пакетов для SQLiteРасширений для SQLite становится все больше, и я решил, что пришло время сделать менеджер пакетов!Встречайте sqlpkg - это реестр пакетов с веб-интерфейсом и одноименный консольный менеджер пакетов. Надеюсь, вам пригодитс

Реестр и менеджер пакетов для SQLiteРасширений для SQLite становится все больше, и я решил, что пришло время сделать менеджер пакетов!Встречайте sqlpkg - это реестр пакетов с веб-интерфейсом и одноименный консольный менеджер пакетов. Надеюсь, вам пригодится.https://sqlpkg.org/Реестр пакетов работает отдельно от менеджера и не требует его. Достаточно найти нужный пакет на сайте, скачать под свою ОС и загрузить стандартными средствами (.load или load_extension).А менеджер пакетов работает отдельно от реестра и тоже не требует его :) Чтобы установить пакет, достаточно указать менеджеру на файл спецификации. Его можно захостить где угодно или даже разместить локально.

2 months, 3 weeks назад @ t.me
Удобно отлаживать небольшие запросики, а для обучения так и вовсе незаменимая штука
Удобно отлаживать небольшие запросики, а для обучения так и вовсе незаменимая штука Удобно отлаживать небольшие запросики, а для обучения так и вовсе незаменимая штука

Удобно отлаживать небольшие запросики, а для обучения так и вовсе незаменимая штука

2 months, 4 weeks назад @ t.me
Больше функций в SQL-песочницеSqlime — это опенсорсная SQLite-песочница в браузере.В ней всегда были стандартные функции SQLite: общего назначения, дата-время и математические.А теперь есть намного больше, от регулярных выражений и матстатистики до динамич
Больше функций в SQL-песочницеSqlime — это опенсорсная SQLite-песочница в браузере.В ней всегда были стандартные функции SQLite: общего назначения, дата-время и математические.А теперь есть намного больше, от регулярных выражений и матстатистики до динамич

Больше функций в SQL-песочницеSqlime — это опенсорсная SQLite-песочница в браузере.В ней всегда были стандартные функции SQLite: общего назначения, дата-время и математические.А теперь есть намного больше, от регулярных выражений и матстатистики до динамического SQL!По сути, я приделал к песочнице все свои расширения, которые до этого подключались только к «обычному» SQLite (кроме работы с файлами и юникода, который под веб не захотел компилироваться).https://sqlime.org/

2 months, 4 weeks назад @ t.me
sqlite3 + расширения на PythonСделал Python-пакет sqlean.py. Он полностью совместим со стандартным sqlite3, плюс добавляет множество приятных функций:— кодирование/декодирование— динамический SQL— работа с файлами— текстовые функции— IP адреса— мат. статис
sqlite3 + расширения на PythonСделал Python-пакет sqlean.py. Он полностью совместим со стандартным sqlite3, плюс добавляет множество приятных функций:— кодирование/декодирование— динамический SQL— работа с файлами— текстовые функции— IP адреса— мат. статис sqlite3 + расширения на PythonСделал Python-пакет sqlean.py. Он полностью совместим со стандартным sqlite3, плюс добавляет множество приятных функций:— кодирование/декодирование— динамический SQL— работа с файлами— текстовые функции— IP адреса— мат. статис

sqlite3 + расширения на PythonСделал Python-пакет sqlean.py. Он полностью совместим со стандартным sqlite3, плюс добавляет множество приятных функций:— кодирование/декодирование— динамический SQL— работа с файлами— текстовые функции— IP адреса— мат. статистика— UUID— CSVhttps://github.com/nalgeon/sqlean.py

3 months, 1 week назад @ t.me
Покрывающий индекс в SQLПокрывающий индекс — самый быстрый способ выбрать данные из таблицы.Например, есть запрос, который выбирает сотрудников с указанной зарплатой:select id, namefrom employeeswhere salary = 90;Если нет индекса, он обходит всю таблицу (т
Покрывающий индекс в SQLПокрывающий индекс — самый быстрый способ выбрать данные из таблицы.Например, есть запрос, который выбирает сотрудников с указанной зарплатой:select id, namefrom employeeswhere salary = 90;Если нет индекса, он обходит всю таблицу (т

Покрывающий индекс в SQLПокрывающий индекс — самый быстрый способ выбрать данные из таблицы.Например, есть запрос, который выбирает сотрудников с указанной зарплатой:select id, namefrom employeeswhere salary = 90;Если нет индекса, он обходит всю таблицу (так называемый фулскан).Создадим индекс по зарплате:create index employees_idxon employees(salary);Теперь тот же запрос будет находить записи по зарплате в индексе (это быстрее, чем обходить всю таблицу). И для каждой найденной записи будет обращаться к таблице, чтобы получить значения id и name.Но если создать покрывающий индекс:create index employees_idxon employees(salary, id, name);То запрос будет отрабатывать только по индексу, вообще …

3 months, 2 weeks назад @ t.me
Sqlean shellsqlean — это набор базовых расширений SQLite, от регулярных выражений и мат. статистики до работы с файлами и динамического SQL.И теперь он доступен в комплекте с SQLite CLI!https://github.com/nalgeon/sqlite/releases/3.42.0-sqlean
Sqlean shellsqlean — это набор базовых расширений SQLite, от регулярных выражений и мат. статистики до работы с файлами и динамического SQL.И теперь он доступен в комплекте с SQLite CLI!https://github.com/nalgeon/sqlite/releases/3.42.0-sqlean Sqlean shellsqlean — это набор базовых расширений SQLite, от регулярных выражений и мат. статистики до работы с файлами и динамического SQL.И теперь он доступен в комплекте с SQLite CLI!https://github.com/nalgeon/sqlite/releases/3.42.0-sqlean

Sqlean shellsqlean — это набор базовых расширений SQLite, от регулярных выражений и мат. статистики до работы с файлами и динамического SQL.И теперь он доступен в комплекте с SQLite CLI!https://github.com/nalgeon/sqlite/releases/3.42.0-sqlean

3 months, 2 weeks назад @ t.me
Некоторые из них в SQLite уже были, но с полным набором удобнее
Некоторые из них в SQLite уже были, но с полным набором удобнее Некоторые из них в SQLite уже были, но с полным набором удобнее

Некоторые из них в SQLite уже были, но с полным набором удобнее

3 months, 2 weeks назад @ t.me
25 текстовых функций в SQLiteС помощью стандартных функций instr, substr и replace можно много чего сделать. Но мне хотелось более полного набора возможностей, как в PostgreSQL, Python или Go. Пришлось добавить.Новое расширение text содержит 25 функций для
25 текстовых функций в SQLiteС помощью стандартных функций instr, substr и replace можно много чего сделать. Но мне хотелось более полного набора возможностей, как в PostgreSQL, Python или Go. Пришлось добавить.Новое расширение text содержит 25 функций для

25 текстовых функций в SQLiteС помощью стандартных функций instr, substr и replace можно много чего сделать. Но мне хотелось более полного набора возможностей, как в PostgreSQL, Python или Go. Пришлось добавить.Новое расширение text содержит 25 функций для работы со строками: от slice, contains и count до split_part, trim и repeat. И многие из них совместимы с PostgreSQL!А если добавить функции работы с регулярками из regexp, вас и вовсе будет не остановить ツ

3 months, 2 weeks назад @ t.me
SQL-рецепт: Сравнение с соседямиПредположим, мы хотим сравнить каждую запись с соседними. Например, сравнить продажи за месяц с предыдущим месяцем или с аналогичным месяцем в прошлом году.Решение — использовать функцию lag() поверх SQL-окна.ПримерСравним р
SQL-рецепт: Сравнение с соседямиПредположим, мы хотим сравнить каждую запись с соседними. Например, сравнить продажи за месяц с предыдущим месяцем или с аналогичным месяцем в прошлом году.Решение — использовать функцию lag() поверх SQL-окна.ПримерСравним р

SQL-рецепт: Сравнение с соседямиПредположим, мы хотим сравнить каждую запись с соседними. Например, сравнить продажи за месяц с предыдущим месяцем или с аналогичным месяцем в прошлом году.Решение — использовать функцию lag() поверх SQL-окна.ПримерСравним расходы компании от месяца к месяцу в абсолютном выражении:select year, month, expense, expense - lag(expense) over w as difffrom expenseswindow w as ( order by year, month)order by year, month;year mon exp dif2020 1 82 2020 2 75 -72020 3 104 292020 4 94 -102020 5 99 52020 6 105 62020 7 95 -102020 8 110 152020 9 104 -6lag(value, offset) возвращает значение value из строки, отстоящей на offset строк назад от текущей. По умолчанию offset равн…

3 months, 3 weeks назад @ t.me
Кодирование данных в SQLiteВсе знают про шестнадцатеричное кодирование (hex):select hex('hello');-- 68656C6C6Fselect unhex('68656C6C6F');-- helloНо есть и другие способы.Base32:select encode('hello', 'base32');-- NBSWY3DPselect decode('NBSWY3DP', 'base32')
Кодирование данных в SQLiteВсе знают про шестнадцатеричное кодирование (hex):select hex('hello');-- 68656C6C6Fselect unhex('68656C6C6F');-- helloНо есть и другие способы.Base32:select encode('hello', 'base32');-- NBSWY3DPselect decode('NBSWY3DP', 'base32')

Кодирование данных в SQLiteВсе знают про шестнадцатеричное кодирование (hex):select hex('hello');-- 68656C6C6Fselect unhex('68656C6C6F');-- helloНо есть и другие способы.Base32:select encode('hello', 'base32');-- NBSWY3DPselect decode('NBSWY3DP', 'base32');-- helloBase64:select encode('hello', 'base64');-- aGVsbG8=select decode('aGVsbG8=', 'base64');-- helloBase85:select encode('hello', 'base85');-- BOu!rDZselect decode('BOu!rDZ', 'base85');-- helloURL-кодирование:select encode('hel lo!', 'url');-- hel%20lo%21select decode('hel%20lo%21', 'url');-- hel lo!И все они теперь доступны в SQLite с помощью расширения crypto.

3 months, 3 weeks назад @ t.me
Datalytics Datalytics
последний пост 2 days, 9 hours назад
Как освоить новую профессию во взрослой жизни?В 21 веке многие компании смотрят в первую очередь на ваши навыки, а не на дипломы. Это особенно актуально для развивающихся сфер, за которыми не успевают программы вузов. Одно из таких направлений — аналитика
Как освоить новую профессию во взрослой жизни?В 21 веке многие компании смотрят в первую очередь на ваши навыки, а не на дипломы. Это особенно актуально для развивающихся сфер, за которыми не успевают программы вузов. Одно из таких направлений — аналитика Как освоить новую профессию во взрослой жизни?В 21 веке многие компании смотрят в первую очередь на ваши навыки, а не на дипломы. Это особенно актуально для развивающихся сфер, за которыми не успевают программы вузов. Одно из таких направлений — аналитика

Как освоить новую профессию во взрослой жизни?В 21 веке многие компании смотрят в первую очередь на ваши навыки, а не на дипломы. Это особенно актуально для развивающихся сфер, за которыми не успевают программы вузов. Одно из таких направлений — аналитика — особенно востребовано в век цифровизации. Получить первый оффер с зарплатой от 70 000 рублей здесь можно и без профильного образования, главное — освоить hard skills и подтвердить их практикой, в том числе через учебные проекты.Станьте незаменимым специалистом с самой полной программой «Аналитик PRO» от Changellenge >> Education! Под руководством действующих экспертов из Google, BCG, Авито, VK и не только вы освоите полный скиллсет анали…

2 days, 9 hours назад @ t.me
Планы на среду: прокачать SQL и расчет продуктовых метрик!📣 20 сентября в 19:00 по Мск пройдет бесплатный live-интенсив по теме: “Расчет продуктовых метрик с помощью SQL”.Мы проводили такой интенсив в прошлом месяце, но многие не успели на него записаться,
Планы на среду: прокачать SQL и расчет продуктовых метрик!📣 20 сентября в 19:00 по Мск пройдет бесплатный live-интенсив по теме: “Расчет продуктовых метрик с помощью SQL”.Мы проводили такой интенсив в прошлом месяце, но многие не успели на него записаться,

Планы на среду: прокачать SQL и расчет продуктовых метрик!📣 20 сентября в 19:00 по Мск пройдет бесплатный live-интенсив по теме: “Расчет продуктовых метрик с помощью SQL”.Мы проводили такой интенсив в прошлом месяце, но многие не успели на него записаться, а очень хотели — поэтому мы решили, почему бы не провести его еще раз 😍А еще он очень понравился участникам, и мы собрали много положительного фидбека 💫👉🏻 На live-интенсиве мы с вами подключимся к реальной облачной базе PostgreSQL и с помощью SQL рассчитаем основные продуктовые метрики онлайн-сервиса:* Activation rate * MAU* ARPU и ARPPU * другие метрики На интенсиве вы узнаете:◾️ Как используют SQL в реальной работе — вы сможете сохранит…

5 days, 11 hours назад @ t.me
Вышел перевод книги не для новичков – «Сверхбыстрый Python» (ориг. Fast Python), и вы можете приобрести ее как в бумажном виде, так и в PDF, со специальными промокодами от переводчика на скидку 22-25% (в конце поста)!Книга довольно объемная, с минимумом ри
Вышел перевод книги не для новичков – «Сверхбыстрый Python» (ориг. Fast Python), и вы можете приобрести ее как в бумажном виде, так и в PDF, со специальными промокодами от переводчика на скидку 22-25% (в конце поста)!Книга довольно объемная, с минимумом ри

Вышел перевод книги не для новичков – «Сверхбыстрый Python» (ориг. Fast Python), и вы можете приобрести ее как в бумажном виде, так и в PDF, со специальными промокодами от переводчика на скидку 22-25% (в конце поста)!Книга довольно объемная, с минимумом рисунков и максимумом примеров. Ниже перечислены темы, которые очень полно освещаются в книге:– Профилирование кода на Python с поиском узких мест (cProfile, SnakeViz, line_profiler);– Оптимизация работы базовых структур данных Python: списки, множества и словари и их вычислительная сложность;– Поиск избыточного выделения памяти, правильная оценка памяти, занимаемой объектами;– Ленивые вычисления и генераторы для работы с большими данными;– …

6 days, 12 hours назад @ t.me
Сколько онлайн-курсов вы уже купили? Я не буду предлагать вам еще один. Наоборот! Приглашаю пройти 98 уроков по BI-аналитике бесплатно. 15 сентября в День открытых дверей своей школы я дам доступ к 5 лучшим курсам:- Power BI с нуля до профи 2023 - Бизнес-д
Сколько онлайн-курсов вы уже купили? Я не буду предлагать вам еще один. Наоборот! Приглашаю пройти 98 уроков по BI-аналитике бесплатно. 15 сентября в День открытых дверей своей школы я дам доступ к 5 лучшим курсам:- Power BI с нуля до профи 2023 - Бизнес-д Сколько онлайн-курсов вы уже купили? Я не буду предлагать вам еще один. Наоборот! Приглашаю пройти 98 уроков по BI-аналитике бесплатно. 15 сентября в День открытых дверей своей школы я дам доступ к 5 лучшим курсам:- Power BI с нуля до профи 2023 - Бизнес-д

Сколько онлайн-курсов вы уже купили? Я не буду предлагать вам еще один. Наоборот! Приглашаю пройти 98 уроков по BI-аналитике бесплатно. 15 сентября в День открытых дверей своей школы я дам доступ к 5 лучшим курсам:- Power BI с нуля до профи 2023 - Бизнес-дашборды в Excel - Финансовые дашборды на данных 1С - DAX-Power Query- Аналитика личных финансов Изучайте теорию, делайте практику, общайтесь в чате участников и даже получайте обратную связь от кураторов. Оцените качество каждого курса изнутри и сделайте осознанный выбор. Регистрируйтесь, чтобы не пропустить.Реклама. ИП Колоколов Алексей Сергеевич. ИНН 662704837675. erid: 2VtzqwWS15s

1 week, 2 days назад @ t.me
Приглашаем на Yandex Scale 2023!Ежегодная и самая масштабная конференция Yandex Cloud уже в пятый раз соберет экспертов индустрии. Эксперты компании поделятся новостями платформы, расскажут о новых сервисах, а также обсудят будущее облачных технологий.Что
Приглашаем на Yandex Scale 2023!Ежегодная и самая масштабная конференция Yandex Cloud уже в пятый раз соберет экспертов индустрии. Эксперты компании поделятся новостями платформы, расскажут о новых сервисах, а также обсудят будущее облачных технологий.Что Приглашаем на Yandex Scale 2023!Ежегодная и самая масштабная конференция Yandex Cloud уже в пятый раз соберет экспертов индустрии. Эксперты компании поделятся новостями платформы, расскажут о новых сервисах, а также обсудят будущее облачных технологий.Что

Приглашаем на Yandex Scale 2023!Ежегодная и самая масштабная конференция Yandex Cloud уже в пятый раз соберет экспертов индустрии. Эксперты компании поделятся новостями платформы, расскажут о новых сервисах, а также обсудят будущее облачных технологий.Что вас ждет в этом году:🚀6 актуальных тематических треков: Data Platform, Infra + K8s, Security, Digital Workplace, Severless, ML;🔊главные новости платформы и индустрии;🎙30+ выступлений экспертов, кейсы клиентов и партнеров;🏢9 стендов на офлайн-выставке;🤝Нетворкинг: не упустите возможность встретиться с руководителями разработки и задать им все интересующие вас вопросы.📅 В этом году конференция будет проходить два дня:25 сентября – онлайн: от…

1 week, 2 days назад @ t.me
🗣 Сегодня в рекомендациях авторский курс про интеграции и архитектуру с практикой. Курс для тех, кто • хотел бы улучшить свои навыки в проектировании архитектуры и интеграций веб-сервисов• нацелен стать хард-скиловым IT аналитиком Middle+—————▫️научитесь в
🗣 Сегодня в рекомендациях авторский курс про интеграции и архитектуру с практикой. Курс для тех, кто • хотел бы улучшить свои навыки в проектировании архитектуры и интеграций веб-сервисов• нацелен стать хард-скиловым IT аналитиком Middle+—————▫️научитесь в 🗣 Сегодня в рекомендациях авторский курс про интеграции и архитектуру с практикой. Курс для тех, кто • хотел бы улучшить свои навыки в проектировании архитектуры и интеграций веб-сервисов• нацелен стать хард-скиловым IT аналитиком Middle+—————▫️научитесь в

🗣 Сегодня в рекомендациях авторский курс про интеграции и архитектуру с практикой. Курс для тех, кто • хотел бы улучшить свои навыки в проектировании архитектуры и интеграций веб-сервисов• нацелен стать хард-скиловым IT аналитиком Middle+—————▫️научитесь выбирать стиль интеграции под вашу задачу;▫️сможете проектировать с нуля и описывать интеграции в современных стилях (API: REST, SOAP, gRPC и др. + брокеры сообщений);▫️поймете как правильно собирать требования и моделировать в UML;▫️подготовитесь к собеседованию, решив более 100 тестов;▫️разработаете свой API на Python.—————🟢вы получаете большую базу фундаментальных знаний, доступ к урокам останется навсегда 💡• Всю программу и отзывы смотр…

1 week, 3 days назад @ t.me
https://habr.com/ru/companies/yandex/articles/760448/AppMetrica зарелизила свои SDK в опенсорс
https://habr.com/ru/companies/yandex/articles/760448/AppMetrica зарелизила свои SDK в опенсорс

https://habr.com/ru/companies/yandex/articles/760448/AppMetrica зарелизила свои SDK в опенсорс

1 week, 4 days назад @ t.me
Как Дата саентисту использовать мощность Linux на максимум? Бесполезно ставить устаревшие утилиты, бездумно чистить процессы, и читать бредовые статьи по взлому wi-fi через Aircrack. Подумайте сами, спектр работы с Linux безграничен, вы можете - поднять с
Как Дата саентисту использовать мощность Linux на максимум? Бесполезно ставить устаревшие утилиты, бездумно чистить процессы, и читать бредовые статьи по взлому wi-fi через Aircrack. Подумайте сами, спектр работы с Linux безграничен, вы можете - поднять с

Как Дата саентисту использовать мощность Linux на максимум? Бесполезно ставить устаревшие утилиты, бездумно чистить процессы, и читать бредовые статьи по взлому wi-fi через Aircrack. Подумайте сами, спектр работы с Linux безграничен, вы можете - поднять свой впн за пару команд, собрать информацию о любом человеке c новыми OSINT инструментами, разогнать видеокарту в Linux с помощью опций ядра для значительного повышения мощности и многое другое.Об этом можно узнать здесь. Вообще канал «Linux Academy» единственное место в телеграме, где вы пройдете путь от -"гугл, как выйти из Vim", до профессионала по работе с Linux и хакингу.Подписывайтесь, такие знания в 2023-м году на вес золота: Linux Ac…

1 week, 5 days назад @ t.me
14 сентября, 18:00 Computer Vision в животноводстве, инфраструктура для ML и AI, виды дрифтов ML-моделей.В этот четверг ребята из @Selectel проведут ежегодный митап «‎MLечный путь» для MLOps и ML-инженеров. На встрече спикеры из Selectel, Контур AI, Neofle
14 сентября, 18:00 Computer Vision в животноводстве, инфраструктура для ML и AI, виды дрифтов ML-моделей.В этот четверг ребята из @Selectel проведут ежегодный митап «‎MLечный путь» для MLOps и ML-инженеров. На встрече спикеры из Selectel, Контур AI, Neofle 14 сентября, 18:00 Computer Vision в животноводстве, инфраструктура для ML и AI, виды дрифтов ML-моделей.В этот четверг ребята из @Selectel проведут ежегодный митап «‎MLечный путь» для MLOps и ML-инженеров. На встрече спикеры из Selectel, Контур AI, Neofle

14 сентября, 18:00 Computer Vision в животноводстве, инфраструктура для ML и AI, виды дрифтов ML-моделей.В этот четверг ребята из @Selectel проведут ежегодный митап «‎MLечный путь» для MLOps и ML-инженеров. На встрече спикеры из Selectel, Контур AI, Neoflex и Русагро рассмотрят актуальные сложности, тренды и инструменты построения production ML-систем.Темы докладов:◽️ Определение дрифта данных и дрифта моделей на MLOps-платформе Neoflex Dognauts◽️ Хостинг сотни моделей машинного обучения в Контуре: существующее решение и путь к нему, а также актуальные и решенные проблемы◽️ Стек технологий и инфраструктурная база для пилотных проектов внедрения LLM◽️ Оптимизация работы видеоаналитических се…

1 week, 5 days назад @ t.me
Анализ данных и машинное обучение в облаке Если вам не хватает мощностей собственного компьютера для разработки модели машинного обучения, у вас краткосрочный проект, для которого нецелесообразно покупать мощные видеокарты, или вы хотели бы собрать небольш
Анализ данных и машинное обучение в облаке Если вам не хватает мощностей собственного компьютера для разработки модели машинного обучения, у вас краткосрочный проект, для которого нецелесообразно покупать мощные видеокарты, или вы хотели бы собрать небольш Анализ данных и машинное обучение в облаке Если вам не хватает мощностей собственного компьютера для разработки модели машинного обучения, у вас краткосрочный проект, для которого нецелесообразно покупать мощные видеокарты, или вы хотели бы собрать небольш

Анализ данных и машинное обучение в облаке Если вам не хватает мощностей собственного компьютера для разработки модели машинного обучения, у вас краткосрочный проект, для которого нецелесообразно покупать мощные видеокарты, или вы хотели бы собрать небольшую платформу обработки данных, используйте Data Analytics Virtual Machine.В чем преимущества Data Analytics Virtual Machine в @Selectel:◽Это виртуальные серверы с предустановленным набором инструментов для анализа данных, BI и машинного обучения. Решение подойдет для небольших команд и стартапов и поможет с хранением, обработкой, анализом и визуализацией данных.◽Вам не придется тратить время на установку драйверов для видеокарты, Python и …

2 weeks, 4 days назад @ t.me
Про самовыражение в эпоху продуктивностиДля начала надо сказать, что я совсем не разделяю современные подходы к продуктивности. Мне кажется большинство из них про то, что есть некоторый способ заниматься какой-то деятельностью, и этот способ кем-то наделён
Про самовыражение в эпоху продуктивностиДля начала надо сказать, что я совсем не разделяю современные подходы к продуктивности. Мне кажется большинство из них про то, что есть некоторый способ заниматься какой-то деятельностью, и этот способ кем-то наделён

Про самовыражение в эпоху продуктивностиДля начала надо сказать, что я совсем не разделяю современные подходы к продуктивности. Мне кажется большинство из них про то, что есть некоторый способ заниматься какой-то деятельностью, и этот способ кем-то наделён некоторым свойством «правильности», достаточно начать применять способ и всё изменится (или станет лучше)И я вижу, что часто этот культ продуктивности переносится на подходы к выражению собственных мыслей или другим видам публичного творчестваМол есть какой-то «правильный» способ вести блог, телеграм-канал, снимать ролики, писать рассказы, записывать подкастыМне кажется, что отчасти это желание найти «правильный» способ возникает из того,…

2 weeks, 6 days назад @ t.me
Подводя итог, экономическое системное мышление – это в первую очередь умение видеть организацию (или какой-то кусок организации, если источники прибыли явно могут быть выделены в отдельные направления) через призму ее продуктов, оргструктуры, процессов, ис
Подводя итог, экономическое системное мышление – это в первую очередь умение видеть организацию (или какой-то кусок организации, если источники прибыли явно могут быть выделены в отдельные направления) через призму ее продуктов, оргструктуры, процессов, ис

Подводя итог, экономическое системное мышление – это в первую очередь умение видеть организацию (или какой-то кусок организации, если источники прибыли явно могут быть выделены в отдельные направления) через призму ее продуктов, оргструктуры, процессов, источников получения прибыли (сегментов рынка) и умение эти компоненты рассматривать как экономические объекты, то есть в конечном счете через расходы/доходыА вот что такое «организационное системное мышление», я расскажу в следующем постеЕсли вам интересно читать про тему бизнес-мышления — жмякайте «👍»; если вы не понимаете вообще о чем я пишу и зачем — «🤔»; если считаете, что устраивать опросы через кнопки моветон — «💩»

3 weeks, 2 days назад @ t.me
Сразу предупрежу, что в этом посте будет минимум конвенциональных терминов, наверняка для всего о чём я пишу есть подходящие термины в книгах по разработке продуктов, менеджменту, системной инженерии. Мне важны не термины, а смыслыПродолжу писать про то, ч
Сразу предупрежу, что в этом посте будет минимум конвенциональных терминов, наверняка для всего о чём я пишу есть подходящие термины в книгах по разработке продуктов, менеджменту, системной инженерии. Мне важны не термины, а смыслыПродолжу писать про то, ч

Сразу предупрежу, что в этом посте будет минимум конвенциональных терминов, наверняка для всего о чём я пишу есть подходящие термины в книгах по разработке продуктов, менеджменту, системной инженерии. Мне важны не термины, а смыслыПродолжу писать про то, что аналитики часто бывают оторваны от бизнеса и поэтому у многих возникает ощущение, что их работа не приносит ценности бизнесуКак я писал выше, это может быть и следствием организационной структуры и целеполагания организации и её внутренней культуры. Но также это про бизнес-ориентированность самого аналитика. Этот навык в зарубежных источниках часто называют business acumen. Google Translate переводит как «деловая хватка», но это не раск…

3 weeks, 2 days назад @ t.me
Возвращаясь к теме с бизнес-мышлениемВ комментариях задали интересный вопрос «Если это структурный вопрос и ценностный, то что с этим делать то можно?». Если упрощать, то вопрос может звучать как «Что делать если в компании в целом с бизнес-мышлением туго
Возвращаясь к теме с бизнес-мышлениемВ комментариях задали интересный вопрос «Если это структурный вопрос и ценностный, то что с этим делать то можно?». Если упрощать, то вопрос может звучать как «Что делать если в компании в целом с бизнес-мышлением туго

Возвращаясь к теме с бизнес-мышлениемВ комментариях задали интересный вопрос «Если это структурный вопрос и ценностный, то что с этим делать то можно?». Если упрощать, то вопрос может звучать как «Что делать если в компании в целом с бизнес-мышлением туго и с отношением к продукту как к продукту?»В большинстве случаев, отсутствие в компании продуктовой культуры и ориентации на бизнес-метрики — это следствие плохого целеполагания на уровне менеджмента компании. Из-за невнятного целеполагания, чаще всего в организационной структуре отсутсвует важная деталь: отношения между подразделениями не способствуют к тому, чтобы сотрудники сообща взаимодействовали в интересах бизнеса. В хорошей оргструк…

3 weeks, 4 days назад @ t.me
🚀Стань экспертом в Machine Learning и MLOps!🤖В сентябре в Risoma School стартуют два курса, где вы сможете прокачать навыки для проектов машинного обучения и MLOps:1. MLOps для Data Science и разработки ML моделей - курс для Data Scientists & Analytics
🚀Стань экспертом в Machine Learning и MLOps!🤖В сентябре в Risoma School стартуют два курса, где вы сможете прокачать навыки для проектов машинного обучения и MLOps:1. MLOps для Data Science и разработки ML моделей - курс для Data Scientists & Analytics 🚀Стань экспертом в Machine Learning и MLOps!🤖В сентябре в Risoma School стартуют два курса, где вы сможете прокачать навыки для проектов машинного обучения и MLOps:1. MLOps для Data Science и разработки ML моделей - курс для Data Scientists & Analytics

🚀Стань экспертом в Machine Learning и MLOps!🤖В сентябре в Risoma School стартуют два курса, где вы сможете прокачать навыки для проектов машинного обучения и MLOps:1. MLOps для Data Science и разработки ML моделей - курс для Data Scientists & Analytics, для эффективной работы с экспериментами, моделями и подготовки production решений c FastAPI и Airflow.2. MLOps для Batch Scoring: автоматизация пайплайнов и CI/CD c DVC, MLflow и Airflow - курс для Machine Learning, Data и DevOps инженеров.💻 Вы научитесь:•Управлять экспериментами и жизненным циклом моделей•Работать с продвинутыми сценариями версионирования данных и моделей•Использовать Git и следовать Git-flow •Настраивать мониторинг работы …

3 weeks, 4 days назад @ t.me
Труба данных Труба данных
последний пост 1 day, 12 hours назад
https://t.me/ohmydataengineer?boostТут Телеграм форсит вот такую штуку, сторис от имени канала. Оно нам надо? Вы вообще смотрите сторис в Телеграме?Или, например, видео-кружочки, как вам такой контент?Лично мне кажется, что это все ерунда какая-то, но буду
https://t.me/ohmydataengineer?boostТут Телеграм форсит вот такую штуку, сторис от имени канала. Оно нам надо? Вы вообще смотрите сторис в Телеграме?Или, например, видео-кружочки, как вам такой контент?Лично мне кажется, что это все ерунда какая-то, но буду https://t.me/ohmydataengineer?boostТут Телеграм форсит вот такую штуку, сторис от имени канала. Оно нам надо? Вы вообще смотрите сторис в Телеграме?Или, например, видео-кружочки, как вам такой контент?Лично мне кажется, что это все ерунда какая-то, но буду

https://t.me/ohmydataengineer?boostТут Телеграм форсит вот такую штуку, сторис от имени канала. Оно нам надо? Вы вообще смотрите сторис в Телеграме?Или, например, видео-кружочки, как вам такой контент?Лично мне кажется, что это все ерунда какая-то, но буду рад вашему мнению в комментариях.@ohmydataengineer | Поддержать автора на Patreon | на Бусти

1 day, 12 hours назад @ t.me
Пятничный юмор и никакой рекламы!@ohmydataengineer | Поддержать автора на Patreon | на Бусти
Пятничный юмор и никакой рекламы!@ohmydataengineer | Поддержать автора на Patreon | на Бусти Пятничный юмор и никакой рекламы!@ohmydataengineer | Поддержать автора на Patreon | на Бусти

Пятничный юмор и никакой рекламы!@ohmydataengineer | Поддержать автора на Patreon | на Бусти

2 days, 13 hours назад @ t.me
Понты паруса нашиЯ тут во втором канале "Осторожно, карьерные работы" https://t.me/career_works/21 писал про то, что очень важно записывать свои достижения и писать про них в резюме.Вот, я например, бейджик на LinkedIn заработал 😝😝😝@ohmydataengineer | Подд
Понты паруса нашиЯ тут во втором канале "Осторожно, карьерные работы" https://t.me/career_works/21 писал про то, что очень важно записывать свои достижения и писать про них в резюме.Вот, я например, бейджик на LinkedIn заработал 😝😝😝@ohmydataengineer | Подд Понты паруса нашиЯ тут во втором канале "Осторожно, карьерные работы" https://t.me/career_works/21 писал про то, что очень важно записывать свои достижения и писать про них в резюме.Вот, я например, бейджик на LinkedIn заработал 😝😝😝@ohmydataengineer | Подд

Понты паруса нашиЯ тут во втором канале "Осторожно, карьерные работы" https://t.me/career_works/21 писал про то, что очень важно записывать свои достижения и писать про них в резюме.Вот, я например, бейджик на LinkedIn заработал 😝😝😝@ohmydataengineer | Поддержать автора на Patreon | на Бусти

5 days, 9 hours назад @ t.me
Пятничный юмор 😂@ohmydataengineer | Поддержать автора на Patreon | на Бусти
Пятничный юмор 😂@ohmydataengineer | Поддержать автора на Patreon | на Бусти Пятничный юмор 😂@ohmydataengineer | Поддержать автора на Patreon | на Бусти

Пятничный юмор 😂@ohmydataengineer | Поддержать автора на Patreon | на Бусти

1 week, 2 days назад @ t.me
Вопрос подписчикаСреди бонусов на Бусти уровня “Сеньор” есть такой перк - задать вопрос. Автор задает очень интересующий его вопрос и получает на него мое развернутое мнение-ответ. Итак, вот тут появился первый такой вот вопрос:На чьи плечи ложится процесс
Вопрос подписчикаСреди бонусов на Бусти уровня “Сеньор” есть такой перк - задать вопрос. Автор задает очень интересующий его вопрос и получает на него мое развернутое мнение-ответ. Итак, вот тут появился первый такой вот вопрос:На чьи плечи ложится процесс

Вопрос подписчикаСреди бонусов на Бусти уровня “Сеньор” есть такой перк - задать вопрос. Автор задает очень интересующий его вопрос и получает на него мое развернутое мнение-ответ. Итак, вот тут появился первый такой вот вопрос:На чьи плечи ложится процесс моделирования данных при построении хранилища в европейских\американских компаниях? Аналитик, инженер или дата архитектор? Кто обычно этим занимается?Честный ответ доступен подписчикам по ссылке тут.В открытый доступ на разных платформах отформатированная и более нейтральная версия выйдет через 2 недели.P.S. На Patreon такая опция доступна всем подписчикам (потому что там один уровень 😂)@ohmydataengineer | Поддержать автора на Patreon | н…

1 week, 5 days назад @ t.me
Пятничный юмор 🙄@ohmydataengineer | Поддержать автора на Patreon | на Бусти
Пятничный юмор 🙄@ohmydataengineer | Поддержать автора на Patreon | на Бусти Пятничный юмор 🙄@ohmydataengineer | Поддержать автора на Patreon | на Бусти

Пятничный юмор 🙄@ohmydataengineer | Поддержать автора на Patreon | на Бусти

2 weeks, 2 days назад @ t.me
Так, напоминаю, что сегодня я выступаю на SmartData, приду поговорить про найм дата инженеров и что происходит на рынке DE. Тут и не тут.А еще, оказывается, ребята сделали второй день (7 сентября) бесплатным и можно прийти в онлайн послушать доклады и пооб
Так, напоминаю, что сегодня я выступаю на SmartData, приду поговорить про найм дата инженеров и что происходит на рынке DE. Тут и не тут.А еще, оказывается, ребята сделали второй день (7 сентября) бесплатным и можно прийти в онлайн послушать доклады и пооб Так, напоминаю, что сегодня я выступаю на SmartData, приду поговорить про найм дата инженеров и что происходит на рынке DE. Тут и не тут.А еще, оказывается, ребята сделали второй день (7 сентября) бесплатным и можно прийти в онлайн послушать доклады и пооб

Так, напоминаю, что сегодня я выступаю на SmartData, приду поговорить про найм дата инженеров и что происходит на рынке DE. Тут и не тут.А еще, оказывается, ребята сделали второй день (7 сентября) бесплатным и можно прийти в онлайн послушать доклады и пообщаться. Как всегда, выбор за вами, за уши вас никто тянуть не будет, но networking is king 😄Сommunity Day такой же насыщенный, как и другие дни конференции:— Доклады об архитектуре дата-платформ, устройстве баз данных и инструментах работы с данными.— Дискуссии со спикерами и участниками после докладов.— Обсуждение трендов Data Engineering.— Интеллектуальная викторина. Чтобы получить билет, зарегаться надо тут@ohmydataengineer | Поддержать…

2 weeks, 4 days назад @ t.me
В продолжении разговора про рынок РФВы же знаете наш чат Датажопс (@datajobs)? Так вот там можно всегда перетереть за аниме, самоходные камазы и в целом про работу DE, вилки и то, что Booking хайрит. И рынок вакансий РФ мы там тоже обсуждаем и в хвост и в
В продолжении разговора про рынок РФВы же знаете наш чат Датажопс (@datajobs)? Так вот там можно всегда перетереть за аниме, самоходные камазы и в целом про работу DE, вилки и то, что Booking хайрит. И рынок вакансий РФ мы там тоже обсуждаем и в хвост и в В продолжении разговора про рынок РФВы же знаете наш чат Датажопс (@datajobs)? Так вот там можно всегда перетереть за аниме, самоходные камазы и в целом про работу DE, вилки и то, что Booking хайрит. И рынок вакансий РФ мы там тоже обсуждаем и в хвост и в

В продолжении разговора про рынок РФВы же знаете наш чат Датажопс (@datajobs)? Так вот там можно всегда перетереть за аниме, самоходные камазы и в целом про работу DE, вилки и то, что Booking хайрит. И рынок вакансий РФ мы там тоже обсуждаем и в хвост и в гриву.Так вот в процессе подготовки к выступлению, про которое писал в предыдущем посте, вбил я как-то в браузер название чатика, а получил кое-что интересное:http://datajobs.pro/Аггрегатор информации по вакансиям по работе с данными с HH, по технологиям, языкам программирования и т.п. По графикам видно, например, что ходуб не умер 😂, Airflow требуется все чаще, а что-то все меньше и меньше ввиду санкций и ухода вендоров.Покликать, полазит…

3 weeks, 2 days назад @ t.me
Новая роль на конференцииИтак, я был админом при организации конференций, я был организатором конференции, я был в ПК конференции, я принимал участие на конференции в развлекательном формате, вот теперь я на конференции в качестве эксперта. До собственного
Новая роль на конференцииИтак, я был админом при организации конференций, я был организатором конференции, я был в ПК конференции, я принимал участие на конференции в развлекательном формате, вот теперь я на конференции в качестве эксперта. До собственного Новая роль на конференцииИтак, я был админом при организации конференций, я был организатором конференции, я был в ПК конференции, я принимал участие на конференции в развлекательном формате, вот теперь я на конференции в качестве эксперта. До собственного

Новая роль на конференцииИтак, я был админом при организации конференций, я был организатором конференции, я был в ПК конференции, я принимал участие на конференции в развлекательном формате, вот теперь я на конференции в качестве эксперта. До собственного выступления - 1 шаг.6 сентября в онлайне поговорим на SmartData про рынок найма, приходите послушать!@ohmydataengineer | Поддержать автора на Patreon |на Бусти

3 weeks, 4 days назад @ t.me
Вопрос к залуВот у меня назрел материал, небольшой, но больше чем классическое сообщение в канале, небольшая статья, на русском языке. Где ее размещать, на каком ресурсе?Habr? Дзен? Пикабу? Telegraph?Посоветуйте в комментариях, пожалуйста!
Вопрос к залуВот у меня назрел материал, небольшой, но больше чем классическое сообщение в канале, небольшая статья, на русском языке. Где ее размещать, на каком ресурсе?Habr? Дзен? Пикабу? Telegraph?Посоветуйте в комментариях, пожалуйста!

Вопрос к залуВот у меня назрел материал, небольшой, но больше чем классическое сообщение в канале, небольшая статья, на русском языке. Где ее размещать, на каком ресурсе?Habr? Дзен? Пикабу? Telegraph?Посоветуйте в комментариях, пожалуйста!

3 weeks, 5 days назад @ t.me
Труба данных pinned «Я завел OnlyFans Патреон... За последнюю неделю мне в личку написало 10+ желающих разместить рекламу. Как вы видите, ни одна из них не вышла на канале, потому что это все грустно, скучно и неинтересно. Мне не хочется брать рекламу, пр
Труба данных pinned «Я завел OnlyFans Патреон... За последнюю неделю мне в личку написало 10+ желающих разместить рекламу. Как вы видите, ни одна из них не вышла на канале, потому что это все грустно, скучно и неинтересно. Мне не хочется брать рекламу, пр

Труба данных pinned «Я завел OnlyFans Патреон... За последнюю неделю мне в личку написало 10+ желающих разместить рекламу. Как вы видите, ни одна из них не вышла на канале, потому что это все грустно, скучно и неинтересно. Мне не хочется брать рекламу, правда. Если я что-то размещаю…»

3 weeks, 6 days назад @ t.me
Я завел OnlyFans Патреон...За последнюю неделю мне в личку написало 10+ желающих разместить рекламу. Как вы видите, ни одна из них не вышла на канале, потому что это все грустно, скучно и неинтересно. Мне не хочется брать рекламу, правда. Если я что-то раз
Я завел OnlyFans Патреон...За последнюю неделю мне в личку написало 10+ желающих разместить рекламу. Как вы видите, ни одна из них не вышла на канале, потому что это все грустно, скучно и неинтересно. Мне не хочется брать рекламу, правда. Если я что-то раз

Я завел OnlyFans Патреон...За последнюю неделю мне в личку написало 10+ желающих разместить рекламу. Как вы видите, ни одна из них не вышла на канале, потому что это все грустно, скучно и неинтересно. Мне не хочется брать рекламу, правда. Если я что-то размещаю, я это делаю потому, что мне кажется это актуальным для меня и для вас.Однако вы также могли заметить, что и количество контента на канале немного упало. Это тоже довольно просто пояснить: мне приходится перелопачивать огромное количество шлака, чтобы запостить что-то актуальное. Потому что постить пост в стиле "Топ-10 команд SQL которые я использую в работе каждый день" мне не хочется. Кажется, что я дошел до этапа, когда появление …

3 weeks, 6 days назад @ t.me
Про тимлидствоУ меня было: - полностью распределенная команда (UK, Кипр, Польша, Болгария, Израиль), 7 разных национальностей, хорошо, что говорим на одном языке - английском- с разницей в возрасте от самого молодого до самого возрастного в 17 лет- выросша
Про тимлидствоУ меня было: - полностью распределенная команда (UK, Кипр, Польша, Болгария, Израиль), 7 разных национальностей, хорошо, что говорим на одном языке - английском- с разницей в возрасте от самого молодого до самого возрастного в 17 лет- выросша Про тимлидствоУ меня было: - полностью распределенная команда (UK, Кипр, Польша, Болгария, Израиль), 7 разных национальностей, хорошо, что говорим на одном языке - английском- с разницей в возрасте от самого молодого до самого возрастного в 17 лет- выросша

Про тимлидствоУ меня было: - полностью распределенная команда (UK, Кипр, Польша, Болгария, Израиль), 7 разных национальностей, хорошо, что говорим на одном языке - английском- с разницей в возрасте от самого молодого до самого возрастного в 17 лет- выросшая с 4 до 11 человек, часть из которых я не нанимал и еще часть в моей команде, но структурно подчиняются другим менеджерам (так сказать, embedded), по скиллам от джунов до сильных сеньоров- причем один из этих людей еще когда-то был менеджером этой команды, но то ли ему не понравилось, то ли не справился, классический олдскульный инженер- 8 лет легаси "хуяк-хуяк и в продакшен", с минимумом документации, сделанное все 4 предыдущими поколени…

1 month назад @ t.me
Python и ExcelТолько ленивый не написал о том, что питончик подвезли в эксель. Еще больше экселек богу экселек на поддержку!Но в целом, конечно же, новость хорошая.https://support.microsoft.com/en-us/office/introduction-to-python-in-excel-55643c2e-ff56-416
Python и ExcelТолько ленивый не написал о том, что питончик подвезли в эксель. Еще больше экселек богу экселек на поддержку!Но в целом, конечно же, новость хорошая.https://support.microsoft.com/en-us/office/introduction-to-python-in-excel-55643c2e-ff56-416 Python и ExcelТолько ленивый не написал о том, что питончик подвезли в эксель. Еще больше экселек богу экселек на поддержку!Но в целом, конечно же, новость хорошая.https://support.microsoft.com/en-us/office/introduction-to-python-in-excel-55643c2e-ff56-416

Python и ExcelТолько ленивый не написал о том, что питончик подвезли в эксель. Еще больше экселек богу экселек на поддержку!Но в целом, конечно же, новость хорошая.https://support.microsoft.com/en-us/office/introduction-to-python-in-excel-55643c2e-ff56-4168-b1ce-9428c8308545@ohmydataengineer

1 month назад @ t.me
Залип в этот Miro-борд, очень структурированный подход к потреблению и усвоению знаний. В этом случае хорошее пояснение про Data Meshне удивлен, что автор канала @datanature занимается визуализацией данных 😄За эту "интеграцию" полученое 0 деняк, автор даже
Залип в этот Miro-борд, очень структурированный подход к потреблению и усвоению знаний. В этом случае хорошее пояснение про Data Meshне удивлен, что автор канала @datanature занимается визуализацией данных 😄За эту "интеграцию" полученое 0 деняк, автор даже

Залип в этот Miro-борд, очень структурированный подход к потреблению и усвоению знаний. В этом случае хорошее пояснение про Data Meshне удивлен, что автор канала @datanature занимается визуализацией данных 😄За эту "интеграцию" полученое 0 деняк, автор даже не знает, что я сделал этот пост.

1 month назад @ t.me
enthusiastech enthusiastech
последний пост 3 weeks, 4 days назад
Салют,💥 Многие видели письма от dbtLabs об очередном повышении цен на услуги.Для кого-то это повышение будет многократным.В связи с этим, мои рекомендации по альтернативам (для оркестрации dbt jobs):1. Github Actions (если используете Github)2. Gitlab CI (
Салют,💥 Многие видели письма от dbtLabs об очередном повышении цен на услуги.Для кого-то это повышение будет многократным.В связи с этим, мои рекомендации по альтернативам (для оркестрации dbt jobs):1. Github Actions (если используете Github)2. Gitlab CI (

Салют,💥 Многие видели письма от dbtLabs об очередном повышении цен на услуги.Для кого-то это повышение будет многократным.В связи с этим, мои рекомендации по альтернативам (для оркестрации dbt jobs):1. Github Actions (если используете Github)2. Gitlab CI (если используете Gitlab)3. Prefect - удобно, приятно, лаконично4. Paradime.io - с радостью бы попробовал на замену dbtCloud🟢 Чем вы пользуетесь, что могли бы рекомендовать и почему?

3 weeks, 4 days назад @ t.me
🙂 Хочу провести сравнительный анализ курсов и обучающих материалов в сфере работы с данными: Data Analytics / Engineering. Чтобы было честно, начну со своей программы. 🔸Ключевые моменты: — Упор на современные и удобные тулы: Modern Data Stack — Фокус на
🙂 Хочу провести сравнительный анализ курсов и обучающих материалов в сфере работы с данными: Data Analytics / Engineering. Чтобы было честно, начну со своей программы. 🔸Ключевые моменты: — Упор на современные и удобные тулы: Modern Data Stack — Фокус на

🙂 Хочу провести сравнительный анализ курсов и обучающих материалов в сфере работы с данными: Data Analytics / Engineering. Чтобы было честно, начну со своей программы. 🔸Ключевые моменты: — Упор на современные и удобные тулы: Modern Data Stack — Фокус на…

1 month назад @ t.me
❓ Для кого программа Analytics Engineer:— Те, кто ищет оптимальные способы решения задач и работет "вдолгую"— Кто хочет использовать Modern Data Stack в своем проекте— Кто готов и любит работать руками, погружаться, копать, разбираться— У кого уже есть неп
❓ Для кого программа Analytics Engineer:— Те, кто ищет оптимальные способы решения задач и работет "вдолгую"— Кто хочет использовать Modern Data Stack в своем проекте— Кто готов и любит работать руками, погружаться, копать, разбираться— У кого уже есть неп

❓ Для кого программа Analytics Engineer:— Те, кто ищет оптимальные способы решения задач и работет "вдолгую"— Кто хочет использовать Modern Data Stack в своем проекте— Кто готов и любит работать руками, погружаться, копать, разбираться— У кого уже есть неплохой опыт (1-3 года, 1-2 компании/проекта)— Кто хочет найти новый проект / место работы с более интересными задачами🟢Особенности и плюсы— Современная программа, топовые инструменты: dbt, Clickhouse, Airbyte, Datalens, Metabase, Cube.js— Вы научитесь решать задачи самым оптимальным путем, это хорошая игра "вдолгую"— Рабочие Labs в Github, половина Labs уже имеют автоматическую проверку правильности выполнения через Github Actions— Опыт раб…

1 month назад @ t.me
🙂 Хочу провести сравнительный анализ курсов и обучающих материалов в сфере работы с данными: Data Analytics / Engineering.Чтобы было честно, начну со своей программы.🔸Ключевые моменты:— Упор на современные и удобные тулы: Modern Data Stack— Фокус на создан
🙂 Хочу провести сравнительный анализ курсов и обучающих материалов в сфере работы с данными: Data Analytics / Engineering.Чтобы было честно, начну со своей программы.🔸Ключевые моменты:— Упор на современные и удобные тулы: Modern Data Stack— Фокус на создан

🙂 Хочу провести сравнительный анализ курсов и обучающих материалов в сфере работы с данными: Data Analytics / Engineering.Чтобы было честно, начну со своей программы.🔸Ключевые моменты:— Упор на современные и удобные тулы: Modern Data Stack— Фокус на создание ценности (бизнес-результат), а не процесс— Кульминация каждых 4-5 занятий - практическая задача (Lab) оформленная как репо в Github— В целом это квинтэссенция моего опыта и знаний, которые я получил на практике в течение последних 8 лет 🔸5 модулей + Capstone project:1. Data Integration: ELT2. DWH Basics3. dbt Deep Dive4. Business Intelligence5. Advanced Toolkit6. Capstone projectПрограмма подробно: https://github.com/kzzzr/analytics-eng…

1 month назад @ t.me
👀 Интересуюсь, есть ли планы поддержи Clickhouse target в dbtCloud.Как думаете, будет?
👀 Интересуюсь, есть ли планы поддержи Clickhouse target в dbtCloud.Как думаете, будет? 👀 Интересуюсь, есть ли планы поддержи Clickhouse target в dbtCloud.Как думаете, будет?

👀 Интересуюсь, есть ли планы поддержи Clickhouse target в dbtCloud.Как думаете, будет?

1 month, 2 weeks назад @ t.me
Эту проблему удалось решить, уменьшив количество строк, обрабатываемых в одном пакете (обращении к Lambda).Проблема означала, что превышен размер ответа от Lambda Function. Чем больше строк на вход - тем больше ответ.Решение: обрабатывать мЕньшими батчами.
Эту проблему удалось решить, уменьшив количество строк, обрабатываемых в одном пакете (обращении к Lambda).Проблема означала, что превышен размер ответа от Lambda Function. Чем больше строк на вход - тем больше ответ.Решение: обрабатывать мЕньшими батчами. Эту проблему удалось решить, уменьшив количество строк, обрабатываемых в одном пакете (обращении к Lambda).Проблема означала, что превышен размер ответа от Lambda Function. Чем больше строк на вход - тем больше ответ.Решение: обрабатывать мЕньшими батчами.

Эту проблему удалось решить, уменьшив количество строк, обрабатываемых в одном пакете (обращении к Lambda).Проблема означала, что превышен размер ответа от Lambda Function. Чем больше строк на вход - тем больше ответ.Решение: обрабатывать мЕньшими батчами. MAX_BATCH_ROWS 800Подробнее о конфигурации функций в Redshift по ссылке.

1 month, 2 weeks назад @ t.me
Абсолютно неинформативный лог при ошибке в Amazon Redshift + Lambda UDFЗатруднительно выяснять реальную причину проблемы. Особенно если при ручном запуске на порции данных ошибки нет.#udf #lambda #h3 #redshift
Абсолютно неинформативный лог при ошибке в Amazon Redshift + Lambda UDFЗатруднительно выяснять реальную причину проблемы. Особенно если при ручном запуске на порции данных ошибки нет.#udf #lambda #h3 #redshift Абсолютно неинформативный лог при ошибке в Amazon Redshift + Lambda UDFЗатруднительно выяснять реальную причину проблемы. Особенно если при ручном запуске на порции данных ошибки нет.#udf #lambda #h3 #redshift

Абсолютно неинформативный лог при ошибке в Amazon Redshift + Lambda UDFЗатруднительно выяснять реальную причину проблемы. Особенно если при ручном запуске на порции данных ошибки нет.#udf #lambda #h3 #redshift

1 month, 2 weeks назад @ t.me
H3 geospatial indexing system - почему это интересно для пользователей?#h3
H3 geospatial indexing system - почему это интересно для пользователей?#h3 H3 geospatial indexing system - почему это интересно для пользователей?#h3

H3 geospatial indexing system - почему это интересно для пользователей?#h3

1 month, 2 weeks назад @ t.me
❓ Что делать если в СУБД отсутствуют необходимые функции и преобразования?🔸Использовать User Defined functions или External functions (они же Lambda functions).Мой кейс - это работа с гео-индексами H3 (не поддерживается в Amazon Redshift):— Агрегация точек
❓ Что делать если в СУБД отсутствуют необходимые функции и преобразования?🔸Использовать User Defined functions или External functions (они же Lambda functions).Мой кейс - это работа с гео-индексами H3 (не поддерживается в Amazon Redshift):— Агрегация точек

❓ Что делать если в СУБД отсутствуют необходимые функции и преобразования?🔸Использовать User Defined functions или External functions (они же Lambda functions).Мой кейс - это работа с гео-индексами H3 (не поддерживается в Amazon Redshift):— Агрегация точек в шестигранники-гексагоны— Обезличивание данных при сохранении полезности— Работа с разным масштабом гексагонов (детально - обобщенно)— Построение тепловых карт (Heatmaps)🔸Как это делается в двух словах?— Создаем Lambda функцию - это почти unlimited возможности на любых языках программирования— Регистрируем функцию в SQL: CREATE EXTERAL FUNCTION lambda_udf AS ...— Убеждаемся что всё корректно: конфигурация function, аргументы и типы данны…

1 month, 2 weeks назад @ t.me
❄️ Snowflake - перспективный лидер, и я ищу подводные камниСейчас в процессе тестирования СУБД Snowflake на замену Amazon RedshiftПока выполнено:— Сделал и загрузил дамп данных: Redshift -> S3 (Parquet) -> Snowflake. Для этого написал макрос.— Собрал
❄️ Snowflake - перспективный лидер, и я ищу подводные камниСейчас в процессе тестирования СУБД Snowflake на замену Amazon RedshiftПока выполнено:— Сделал и загрузил дамп данных: Redshift -> S3 (Parquet) -> Snowflake. Для этого написал макрос.— Собрал

❄️ Snowflake - перспективный лидер, и я ищу подводные камниСейчас в процессе тестирования СУБД Snowflake на замену Amazon RedshiftПока выполнено:— Сделал и загрузил дамп данных: Redshift -> S3 (Parquet) -> Snowflake. Для этого написал макрос.— Собрал dev container для работы с dbt— Настроил работу внешних таблиц: EXTERNAL STAGES— Внёс все изменения по синтаксису, чтобы отработал слой моделей staging.*Возникают сложности с:— Регистр колонок и Reserved words в названиях колонок— Работа с JSON Flattening. Синтаксис отличается от Redshift— Работа с внешними таблицами (STAGES, EXTERNAL TABLES) устроена чуть по-другомуПотенциальные проблемные места:— Конечно, Costs. Используются разные VIRTUAL WA…

1 month, 3 weeks назад @ t.me
🌐 Ранее в блоге я делал несколько постов о задачах класса reverse ETL и инструментах для их решения:— Have you ever heard of Operational Analytics?— Операционализация аналитики c инструментами класса reverse ETL – опыт использования Census— Looker action -
🌐 Ранее в блоге я делал несколько постов о задачах класса reverse ETL и инструментах для их решения:— Have you ever heard of Operational Analytics?— Операционализация аналитики c инструментами класса reverse ETL – опыт использования Census— Looker action -

🌐 Ранее в блоге я делал несколько постов о задачах класса reverse ETL и инструментах для их решения:— Have you ever heard of Operational Analytics?— Операционализация аналитики c инструментами класса reverse ETL – опыт использования Census— Looker action -> Braze (Customer engagement platform)— There is a number of successful companies who aim to provide reverse-ETL as a service#reverse_etl

1 month, 3 weeks назад @ t.me
😎 Уже более полугода использую Census App для задач reverse ETLСегодня получил письмо касательно интеграции синков данных с dbtCloud jobs и уже выполнил все рекомендации.As part of working with dbt Labs to improve dbt Cloud triggers, we have been migrating
😎 Уже более полугода использую Census App для задач reverse ETLСегодня получил письмо касательно интеграции синков данных с dbtCloud jobs и уже выполнил все рекомендации.As part of working with dbt Labs to improve dbt Cloud triggers, we have been migrating

😎 Уже более полугода использую Census App для задач reverse ETLСегодня получил письмо касательно интеграции синков данных с dbtCloud jobs и уже выполнил все рекомендации.As part of working with dbt Labs to improve dbt Cloud triggers, we have been migrating to webhook-based integration which requires different dbt Cloud permissions.Legacy dbt Cloud Triggers will be disabled in two weeks on August 14th, 2023.To upgrade, the Service Token provided to Census requires at least the developer permission (for Enterprise) or Member permission (for Team) in order to configure new webhooks. You can then provide the new Service Token in your Organization Settings. For more information, see our document…

1 month, 3 weeks назад @ t.me
Слайды моего доклада с [dbt meetup]:🔸 Оркестрация dbt jobs для Dev, Test, Prod без головной боли— Сформулируем требования— Что нужно для запуска dbt jobs?— Какие бывают Environments— Критерии выбора решения для запусков— Обзор решений: devcontainer, dbtClo
Слайды моего доклада с [dbt meetup]:🔸 Оркестрация dbt jobs для Dev, Test, Prod без головной боли— Сформулируем требования— Что нужно для запуска dbt jobs?— Какие бывают Environments— Критерии выбора решения для запусков— Обзор решений: devcontainer, dbtClo

Слайды моего доклада с [dbt meetup]:🔸 Оркестрация dbt jobs для Dev, Test, Prod без головной боли— Сформулируем требования— Что нужно для запуска dbt jobs?— Какие бывают Environments— Критерии выбора решения для запусков— Обзор решений: devcontainer, dbtCloud, Github Actions, Gitlab CI, Airflow / Prefect / Dagster, Argo Workflows— Матрица оценок по критериям— Выводы: что, в каких случаях и почему лучше использовать Доступны гиперссылки и .gif-анимация.Задавайте вопросы, если появятся.#meetup

2 months назад @ t.me
⚡️Старт трансляции через 45 минутУ меня много интересного, всех ждуhttps://www.youtube.com/live/RTjHlmyq3_E
⚡️Старт трансляции через 45 минутУ меня много интересного, всех ждуhttps://www.youtube.com/live/RTjHlmyq3_E

⚡️Старт трансляции через 45 минутУ меня много интересного, всех ждуhttps://www.youtube.com/live/RTjHlmyq3_E

2 months назад @ t.me
After:
After: After:

After:

2 months, 1 week назад @ t.me
data будни data будни
последний пост 1 month, 1 week назад
Польза вопросов Последние пару месяцев активно копаю в сторону стриминга. Последний проект — перевод одной отдельновзятой поставки данных на Flink. В какой-то момент настолько увлёкся и закопался, что потерял общий ориентир; ви́дение стало слишком узким…
Польза вопросов Последние пару месяцев активно копаю в сторону стриминга. Последний проект — перевод одной отдельновзятой поставки данных на Flink. В какой-то момент настолько увлёкся и закопался, что потерял общий ориентир; ви́дение стало слишком узким…

Польза вопросов Последние пару месяцев активно копаю в сторону стриминга. Последний проект — перевод одной отдельновзятой поставки данных на Flink. В какой-то момент настолько увлёкся и закопался, что потерял общий ориентир; ви́дение стало слишком узким…

1 month, 1 week назад @ t.me
О приоритизации задач Дорогой читатель Алексей Махоткин @squadette в коментах к прошлому посту прислал релевантную заметку (спасибо большое! люблю такое, шлите ещё). Мой ограниченный опыт подтверждается богатым (подозреваю) опытом автора из ЖЖ — ошибка дов
О приоритизации задач Дорогой читатель Алексей Махоткин @squadette в коментах к прошлому посту прислал релевантную заметку (спасибо большое! люблю такое, шлите ещё). Мой ограниченный опыт подтверждается богатым (подозреваю) опытом автора из ЖЖ — ошибка дов

О приоритизации задач Дорогой читатель Алексей Махоткин @squadette в коментах к прошлому посту прислал релевантную заметку (спасибо большое! люблю такое, шлите ещё). Мой ограниченный опыт подтверждается богатым (подозреваю) опытом автора из ЖЖ — ошибка довольно распространённая.https://gaperton.livejournal.com/36144.html ⁃ неопределённость в проектах есть всегда; ей можно управлять (хотя бы наблюдать и иметь в виду). ⁃ неопределённость к концу проекта должна снижаться ⁃ мутные задачи делать сложно и неохотно, поэтому есть склонность откладывать их на конец проекта. ⁃ вместе с тем, в сложных задачах скрыто куча потенциальной неопределённости — и лучше бы узнать о них пораньше ⁃ иначе неопред…

1 month, 1 week назад @ t.me
Польза вопросовПоследние пару месяцев активно копаю в сторону стриминга. Последний проект — перевод одной отдельновзятой поставки данных на Flink.В какой-то момент настолько увлёкся и закопался, что потерял общий ориентир; ви́дение стало слишком узким и за
Польза вопросовПоследние пару месяцев активно копаю в сторону стриминга. Последний проект — перевод одной отдельновзятой поставки данных на Flink.В какой-то момент настолько увлёкся и закопался, что потерял общий ориентир; ви́дение стало слишком узким и за

Польза вопросовПоследние пару месяцев активно копаю в сторону стриминга. Последний проект — перевод одной отдельновзятой поставки данных на Flink.В какой-то момент настолько увлёкся и закопался, что потерял общий ориентир; ви́дение стало слишком узким и застал себя за тем, что «искал ключи где светло, а не там где их мог потерять»Благо дело было перед регулярной встрече 1-1 и на помощь пришёл наш бравый лид (привет, Саша!). Через ряд последовательных вопросов у него получилось упорядочить хаос в моей голове: вспомнить о цели проекта, предстоящих этапах и когда это должно быть сделано.прошли от обратного: дедлайн условно 1 сентября — значит, 31 августа должен быть релиз? нет, релиз нужен мини…

1 month, 1 week назад @ t.me
Нет правильных решенийв школе было просто: тебе дают пример, ты что-то там решаешь на листочке и выдаёшь ответ — «42!». И сссразу получаешь обратную связь «правильно / неправильно».дальше всё получается сложнее. возьмём кластер Кликхауса, которому плоховат
Нет правильных решенийв школе было просто: тебе дают пример, ты что-то там решаешь на листочке и выдаёшь ответ — «42!». И сссразу получаешь обратную связь «правильно / неправильно».дальше всё получается сложнее. возьмём кластер Кликхауса, которому плоховат

Нет правильных решенийв школе было просто: тебе дают пример, ты что-то там решаешь на листочке и выдаёшь ответ — «42!». И сссразу получаешь обратную связь «правильно / неправильно».дальше всё получается сложнее. возьмём кластер Кликхауса, которому плоховато от нагрузки. Что с этим можно сделать? можно добавить ещё хостов, можно апнуть текущие хосты, можно добавить шардирование. с другой стороны можно проверить нагрузку; что больше грузит систему — запись или чтение? может мы пишем что-то лишнее, т.е. оптимизировать запись. Или у нас Даталенс с Графаной спамят по стопицот одинаковых запросов в секунду?здесь нет «правильного» ответа. По-хорошему надо бы зарыться в логи и разобраться что проис…

2 months, 1 week назад @ t.me
#послушано 🎧 Rework: AI! GPT! What a time to be alive!речи фаундеров 37 Signals просто как бальзам на мою fomo-душу! Для тех, кто переживает, что «поезд AI ушёл» и его уже не догнать, ребята предлагают взглянуть с другой стороны: в этой отрасли настолько б
#послушано 🎧 Rework: AI! GPT! What a time to be alive!речи фаундеров 37 Signals просто как бальзам на мою fomo-душу! Для тех, кто переживает, что «поезд AI ушёл» и его уже не догнать, ребята предлагают взглянуть с другой стороны: в этой отрасли настолько б

#послушано 🎧 Rework: AI! GPT! What a time to be alive!речи фаундеров 37 Signals просто как бальзам на мою fomo-душу! Для тех, кто переживает, что «поезд AI ушёл» и его уже не догнать, ребята предлагают взглянуть с другой стороны: в этой отрасли настолько быстро всё меняется, что период полураспада навыков — 48 часов! Если вы были мастером по MidJourney версии 3, то в пятой версии уже всё поменялось и буквально надо вкатываться заново. Поэтому можно смело начинать вкатываться с версии 5 (или 10!) — и все будут примерно на том же уровне.Главный совет от ребят — Have fun!Apple Podcasts🎧 Moscow Python: Пайтон в мире анализа данныхМой бывший СТО из агентства Epoch8 — Андрей Татаринов — заглянул …

2 months, 1 week назад @ t.me
ClickHouse: стриминг для бедныхдостался в поддержку проект по реалтайм обработке данных на основе КХ — чем больше в него погружаюсь, тем больше он нравится!смысл простой: из брокера сообщений инсёртим данные в КХ и там через материализованные представления
ClickHouse: стриминг для бедныхдостался в поддержку проект по реалтайм обработке данных на основе КХ — чем больше в него погружаюсь, тем больше он нравится!смысл простой: из брокера сообщений инсёртим данные в КХ и там через материализованные представления

ClickHouse: стриминг для бедныхдостался в поддержку проект по реалтайм обработке данных на основе КХ — чем больше в него погружаюсь, тем больше он нравится!смысл простой: из брокера сообщений инсёртим данные в КХ и там через материализованные представления раскладываем их в одну широкую денормализованную витрину.на выходе получаем основные данные для аналитики бизнеса с задержкой в единицы секунд для основных атрибутов и доезд остальных по мере поступления. вообще Кликхаус мне представляется как кладезь интересных технических решений. По мере погружения проект отметил два пункта, почему такой проект в принципе работает: 1. колоночное хранение 2. движки таблиц семейства MergeTree 3. матвьюхи…

2 months, 2 weeks назад @ t.me
🤓️️Практикум: английский для разработчиковСпустя 6 месяцев закончил курс, куда записался на панике сразу после мобилизации. На самом деле записался сразу на два английских от Практикума: общий и для разработчиков.Общий порадовал короткими кусочками — в люб
🤓️️Практикум: английский для разработчиковСпустя 6 месяцев закончил курс, куда записался на панике сразу после мобилизации. На самом деле записался сразу на два английских от Практикума: общий и для разработчиков.Общий порадовал короткими кусочками — в люб

🤓️️Практикум: английский для разработчиковСпустя 6 месяцев закончил курс, куда записался на панике сразу после мобилизации. На самом деле записался сразу на два английских от Практикума: общий и для разработчиков.Общий порадовал короткими кусочками — в любое свободное время за 15 минут проходишь теорию и после неё записываешься на практику на через-5-минут. Можно не держать в голове расписание, а заниматься по свободности.Но в итоге продолжил только с курсом английский для разработчиков. Там подкупила релевантность тем — всё связаны с ежедневной работой: стендапы и ретро, парное программирование и код-ревью, вопросы в интернете и публичная презентация; и конечно поиск работы и тренировка те…

2 months, 2 weeks назад @ t.me
🤓️️Практикум: английский для разработчиковСпустя 6 месяцев закончил курс, куда записался на панике сразу после мобилизации. На самом деле записался сразу на два английских от Практикума: общий и для разработчиков.Общий порадовал короткими кусочками — в люб
🤓️️Практикум: английский для разработчиковСпустя 6 месяцев закончил курс, куда записался на панике сразу после мобилизации. На самом деле записался сразу на два английских от Практикума: общий и для разработчиков.Общий порадовал короткими кусочками — в люб

🤓️️Практикум: английский для разработчиковСпустя 6 месяцев закончил курс, куда записался на панике сразу после мобилизации. На самом деле записался сразу на два английских от Практикума: общий и для разработчиков.Общий порадовал короткими кусочками — в любое свободное время за 15 минут проходишь теорию и после неё записываешься на практику на через-5-минут. Можно не держать в голове расписание, а заниматься по свободности.Но в итоге продолжил только с курсом английский для разработчиков. Там подкупила релевантность тем — всё связаны с ежедневной работой: стендапы и ретро, парное программирование и код-ревью, вопросы в интернете и публичная презентация; и конечно поиск работы и тренировка те…

2 months, 2 weeks назад @ t.me
там завтра наши хэды из платформы данных будут рассказывать как ворочать петабайтами в YTsaurus (он же Ыть, он же а-ля Хадуп)https://t.me/ytsaurus_ru/2869
там завтра наши хэды из платформы данных будут рассказывать как ворочать петабайтами в YTsaurus (он же Ыть, он же а-ля Хадуп)https://t.me/ytsaurus_ru/2869

там завтра наши хэды из платформы данных будут рассказывать как ворочать петабайтами в YTsaurus (он же Ыть, он же а-ля Хадуп)https://t.me/ytsaurus_ru/2869

2 months, 4 weeks назад @ t.me
👆 Минутка кибербезопасностиРегулярно появляются новости, что взломали очередную компанию, поэтому тема актуальная. Кажется, что проблема где-то на другом уровне, но часто взломы начинаются с отдельного человека, который решил, что qwerty — сильный и надёжн
👆 Минутка кибербезопасностиРегулярно появляются новости, что взломали очередную компанию, поэтому тема актуальная. Кажется, что проблема где-то на другом уровне, но часто взломы начинаются с отдельного человека, который решил, что qwerty — сильный и надёжн

👆 Минутка кибербезопасностиРегулярно появляются новости, что взломали очередную компанию, поэтому тема актуальная. Кажется, что проблема где-то на другом уровне, но часто взломы начинаются с отдельного человека, который решил, что qwerty — сильный и надёжный пароль.В подкаст «Запуск завтра» пришёл хакер-предприниматель, компания которого проводит аудит безопасности: за деньги пытаются сломать компании с последующим отчётом и предложениями по улучшению.кулстори: для одной компании делали аудит, сделали скан и нашли забытый всеми почтовый сервис, торчащий наружу. Спарсили с Линкедина сотрудников, сгенерерили почтовые адреса и по всем прошлись проверкой на базовые пароли — нашёлся один с услов…

3 months назад @ t.me
🤓 data-архитектуры: Lamda vs Kappaпо рабочей необходимости въезжаю в тему стриминга данных, пытаюсь вникнуть в тамошние концепции, основные проблемы и методы их решения. Первая тема на пути — базовые отличия обработки данных батчами и на непрерывном потоке
🤓 data-архитектуры: Lamda vs Kappaпо рабочей необходимости въезжаю в тему стриминга данных, пытаюсь вникнуть в тамошние концепции, основные проблемы и методы их решения. Первая тема на пути — базовые отличия обработки данных батчами и на непрерывном потоке

🤓 data-архитектуры: Lamda vs Kappaпо рабочей необходимости въезжаю в тему стриминга данных, пытаюсь вникнуть в тамошние концепции, основные проблемы и методы их решения. Первая тема на пути — базовые отличия обработки данных батчами и на непрерывном потоке.батчинг — это просто и надёжно: тащишь все данные за какой-то период (для надёжности — с нахлёстом) и пересчитываешь спокойно произвольный период в прошлое по мере доезда всех данных. Получается консистентно, но вчера.стриминг — это быстро, но сложно: данные льются потоком, их надо успевать читать и записывать. Если воркер упал, что происходит с данными? если для трансформации нужен стейт или джойн, то сколько держать событие в памяти? по…

3 months, 2 weeks назад @ t.me
#послушано🎈 Алексей Миловидов в «Запуск завтра» рассказал про то как начинал ClickHouse и к чему это всё привелов 2008 это был просто конструктор отчётов для Яндекс Метрики, просто какие-то базовые отчёты на основе неагрегированных логов тогдашнего рунета
#послушано🎈 Алексей Миловидов в «Запуск завтра» рассказал про то как начинал ClickHouse и к чему это всё привелов 2008 это был просто конструктор отчётов для Яндекс Метрики, просто какие-то базовые отчёты на основе неагрегированных логов тогдашнего рунета

#послушано🎈 Алексей Миловидов в «Запуск завтра» рассказал про то как начинал ClickHouse и к чему это всё привелов 2008 это был просто конструктор отчётов для Яндекс Метрики, просто какие-то базовые отчёты на основе неагрегированных логов тогдашнего рунета. Потом была пауза в развитии и вернулся к разработке в 2011, чтобы в следующем году уже на основе Кликхауса вышла Метрика 2.0Постепенно соседние отделы тоже интересовались возможностью быстро обрабатывать тонны логов и Кликхаус распространялся внутри Яндекса. В 2016 решили выложить КХ в опенсорс — были опасения про безопасность, но плюсы этого решения оказались существеннее. А недавно КХ отделился совсем и стал стартапом с завидной оценкой…

3 months, 3 weeks назад @ t.me
Книжный клуб + Кабанчик = 🖤Два года назад как начинающий и ответственный дата-инженер заказал оригинал книги Мартина Клеппманна Designing Data-Intensive Applications с Амазона. Но книга так и лежала у меня с тех пор, не смотря на рейтинг 5.0 и рекомендации
Книжный клуб + Кабанчик = 🖤Два года назад как начинающий и ответственный дата-инженер заказал оригинал книги Мартина Клеппманна Designing Data-Intensive Applications с Амазона. Но книга так и лежала у меня с тех пор, не смотря на рейтинг 5.0 и рекомендации

Книжный клуб + Кабанчик = 🖤Два года назад как начинающий и ответственный дата-инженер заказал оригинал книги Мартина Клеппманна Designing Data-Intensive Applications с Амазона. Но книга так и лежала у меня с тех пор, не смотря на рейтинг 5.0 и рекомендации со всех сторон.И вот в рабочей флудилке заговорили про книжные клубы, я решил что это хороший повод и закинул идею совместно прочитать этот технический бестселлер.План был максимальной простой: одна глава = одна неделя. Встречаемся каждый четверг, обсуждаем прочитанное, вспоминаем байки из опыта (если есть), находим аналоги в нашей инфраструктуре. И вот спустя 12 недель Кабанчик прочитан, книга исчёркана карандашными заметками, в заметках…

3 months, 3 weeks назад @ t.me
Книжный клуб + Кабанчик = 🖤Два года назад как начинающий и ответственный дата-инженер заказал оригинал книги Мартина Клеппманна Designing Data-Intensive Applications с Амазона. Но книга так и лежала у меня с тех пор, не смотря на рейтинг 5.0 и рекомендации
Книжный клуб + Кабанчик = 🖤Два года назад как начинающий и ответственный дата-инженер заказал оригинал книги Мартина Клеппманна Designing Data-Intensive Applications с Амазона. Но книга так и лежала у меня с тех пор, не смотря на рейтинг 5.0 и рекомендации

Книжный клуб + Кабанчик = 🖤Два года назад как начинающий и ответственный дата-инженер заказал оригинал книги Мартина Клеппманна Designing Data-Intensive Applications с Амазона. Но книга так и лежала у меня с тех пор, не смотря на рейтинг 5.0 и рекомендации со всех сторон.И вот в рабочей флудилке заговорили про книжные клубы, я решил что это хороший повод и закинул идею совместно прочитать этот технический бестселлер.План был максимальной простой: одна глава = одна неделя. Встречаемся каждый четверг, обсуждаем прочитанное, вспоминаем байки из опыта (если есть), находим аналоги в нашей инфраструктуре. И вот спустя 12 недель Кабанчик прочитан, книга исчёркана карандашными заметками, в заметках…

3 months, 3 weeks назад @ t.me
потрёпанный жизнью книжным клубом Кабанчик
потрёпанный жизнью книжным клубом Кабанчик потрёпанный жизнью книжным клубом Кабанчик

потрёпанный жизнью книжным клубом Кабанчик

3 months, 3 weeks назад @ t.me
под капотом Яндекс.Такси под капотом Яндекс.Такси
последний пост None
🎧 Podcasts
Data Engineering Podcast Data Engineering Podcast
последний пост 1 week назад
Building Linked Data Products With JSON-LD
Building Linked Data Products With JSON-LD

Summary

A significant amount of time in data engineering is dedicated to building connections and semantic meaning around pieces of information. Linked data technologies provide a means of tightly coupling metadata with raw information. In this episode Brian Platz explains how JSON-LD can be used as a shared representation of linked data for building semantic data products.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

This episode is brought to you by Datafold – a testing automation platform for data engineers that finds data quality issues before the code and data are deployed to production. Datafold leverages data-diffing to compar…

1 week назад @ dataengineeringpodcast.com
An Overview Of The Sate Of Data Orchestration In An Increasingly Complex Data Ecosystem
An Overview Of The Sate Of Data Orchestration In An Increasingly Complex Data Ecosystem

Summary

Data systems are inherently complex and often require integration of multiple technologies. Orchestrators are centralized utilities that control the execution and sequencing of interdependent operations. This offers a single location for managing visibility and error handling so that data platform engineers can manage complexity. In this episode Nick Schrock, creator of Dagster, shares his perspective on the state of data orchestration technology and its application to help inform its implementation in your environment.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Introducing RudderStack Profiles. RudderStack Profiles takes t…

2 weeks назад @ dataengineeringpodcast.com
Eliminate The Overhead In Your Data Integration With The Open Source dlt Library
Eliminate The Overhead In Your Data Integration With The Open Source dlt Library

Summary

Cloud data warehouses and the introduction of the ELT paradigm has led to the creation of multiple options for flexible data integration, with a roughly equal distribution of commercial and open source options. The challenge is that most of those options are complex to operate and exist in their own silo. The dlt project was created to eliminate overhead and bring data integration into your full control as a library component of your overall data system. In this episode Adrian Brudaru explains how it works, the benefits that it provides over other data integration solutions, and how you can start building pipelines today.

Announcements

Hello and welcome to the Data Engineering Podca…

2 weeks, 6 days назад @ dataengineeringpodcast.com
Building An Internal Database As A Service Platform At Cloudflare
Building An Internal Database As A Service Platform At Cloudflare

Summary

Data persistence is one of the most challenging aspects of computer systems. In the era of the cloud most developers rely on hosted services to manage their databases, but what if you are a cloud service? In this episode Vignesh Ravichandran explains how his team at Cloudflare provides PostgreSQL as a service to their developers for low latency and high uptime services at global scale. This is an interesting and insightful look at pragmatic engineering for reliability and scale.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Introducing RudderStack Profiles. RudderStack Profiles takes the SaaS guesswork and SQL grunt work out o…

3 weeks, 6 days назад @ dataengineeringpodcast.com
Harnessing Generative AI For Creating Educational Content With Illumidesk
Harnessing Generative AI For Creating Educational Content With Illumidesk

Summary

Generative AI has unlocked a massive opportunity for content creation. There is also an unfulfilled need for experts to be able to share their knowledge and build communities. Illumidesk was built to take advantage of this intersection. In this episode Greg Werner explains how they are using generative AI as an assistive tool for creating educational material, as well as building a data driven experience for learners.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Introducing RudderStack Profiles. RudderStack Profiles takes the SaaS guesswork and SQL grunt work out of building complete customer profiles so you can quickly ship …

1 month назад @ dataengineeringpodcast.com
Unpacking The Seven Principles Of Modern Data Pipelines
Unpacking The Seven Principles Of Modern Data Pipelines

Summary

Data pipelines are the core of every data product, ML model, and business intelligence dashboard. If you're not careful you will end up spending all of your time on maintenance and fire-fighting. The folks at Rivery distilled the seven principles of modern data pipelines that will help you stay out of trouble and be productive with your data. In this episode Ariel Pohoryles explains what they are and how they work together to increase your chances of success.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Introducing RudderStack Profiles. RudderStack Profiles takes the SaaS guesswork and SQL grunt work out of building complete …

1 month, 1 week назад @ dataengineeringpodcast.com
Quantifying The Return On Investment For Your Data Team
Quantifying The Return On Investment For Your Data Team

Summary

As businesses increasingly invest in technology and talent focused on data engineering and analytics, they want to know whether they are benefiting. So how do you calculate the return on investment for data? In this episode Barr Moses and Anna Filippova explore that question and provide useful exercises to start answering that in your company.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Introducing RudderStack Profiles. RudderStack Profiles takes the SaaS guesswork and SQL grunt work out of building complete customer profiles so you can quickly ship actionable, enriched data to every downstream team. You specify the customer…

1 month, 2 weeks назад @ dataengineeringpodcast.com
Strategies For A Successful Data Platform Migration
Strategies For A Successful Data Platform Migration

Summary

All software systems are in a constant state of evolution. This makes it impossible to select a truly future-proof technology stack for your data platform, making an eventual migration inevitable. In this episode Gleb Mezhanskiy and Rob Goretsky share their experiences leading various data platform migrations, and the hard-won lessons that they learned so that you don't have to.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Introducing RudderStack Profiles. RudderStack Profiles takes the SaaS guesswork and SQL grunt work out of building complete customer profiles so you can quickly ship actionable, enriched data to every downs…

1 month, 3 weeks назад @ dataengineeringpodcast.com
Build Real Time Applications With Operational Simplicity Using Dozer
Build Real Time Applications With Operational Simplicity Using Dozer

Summary

Real-time data processing has steadily been gaining adoption due to advances in the accessibility of the technologies involved. Despite that, it is still a complex set of capabilities. To bring streaming data in reach of application engineers Matteo Pelati helped to create Dozer. In this episode he explains how investing in high performance and operationally simplified streaming with a familiar API can yield significant benefits for software and data teams together.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Introducing RudderStack Profiles. RudderStack Profiles takes the SaaS guesswork and SQL grunt work out of building co…

2 months назад @ dataengineeringpodcast.com
Datapreneurs - How Todays Business Leaders Are Using Data To Define The Future
Datapreneurs - How Todays Business Leaders Are Using Data To Define The Future

Summary

Data has been one of the most substantial drivers of business and economic value for the past few decades. Bob Muglia has had a front-row seat to many of the major shifts driven by technology over his career. In his recent book "Datapreneurs" he reflects on the people and businesses that he has known and worked with and how they relied on data to deliver valuable services and drive meaningful change.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Introducing RudderStack Profiles. RudderStack Profiles takes the SaaS guesswork and SQL grunt work out of building complete customer profiles so you can quickly ship actionable, enrich…

2 months, 1 week назад @ dataengineeringpodcast.com
Reduce Friction In Your Business Analytics Through Entity Centric Data Modeling
Reduce Friction In Your Business Analytics Through Entity Centric Data Modeling

Summary

For business analytics the way that you model the data in your warehouse has a lasting impact on what types of questions can be answered quickly and easily. The major strategies in use today were created decades ago when the software and hardware for warehouse databases were far more constrained. In this episode Maxime Beauchemin of Airflow and Superset fame shares his vision for the entity-centric data model and how you can incorporate it into your own warehouse design.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Introducing RudderStack Profiles. RudderStack Profiles takes the SaaS guesswork and SQL grunt work out of buildi…

2 months, 2 weeks назад @ dataengineeringpodcast.com
How Data Engineering Teams Power Machine Learning With Feature Platforms
How Data Engineering Teams Power Machine Learning With Feature Platforms

Summary

Feature engineering is a crucial aspect of the machine learning workflow. To make that possible, there are a number of technical and procedural capabilities that must be in place first. In this episode Razi Raziuddin shares how data engineering teams can support the machine learning workflow through the development and support of systems that empower data scientists and ML engineers to build and maintain their own features.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Introducing RudderStack Profiles. RudderStack Profiles takes the SaaS guesswork and SQL grunt work out of building complete customer profiles so you can quickly…

2 months, 3 weeks назад @ dataengineeringpodcast.com
Seamless SQL And Python Transformations For Data Engineers And Analysts With SQLMesh
Seamless SQL And Python Transformations For Data Engineers And Analysts With SQLMesh

Summary

Data transformation is a key activity for all of the organizational roles that interact with data. Because of its importance and outsized impact on what is possible for downstream data consumers it is critical that everyone is able to collaborate seamlessly. SQLMesh was designed as a unifying tool that is simple to work with but powerful enough for large-scale transformations and complex projects. In this episode Toby Mao explains how it works, the importance of automatic column-level lineage tracking, and how you can start using it today.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

RudderStack helps you build a customer dat…

3 months назад @ dataengineeringpodcast.com
How Column-Aware Development Tooling Yields Better Data Models
How Column-Aware Development Tooling Yields Better Data Models

Summary

Architectural decisions are all based on certain constraints and a desire to optimize for different outcomes. In data systems one of the core architectural exercises is data modeling, which can have significant impacts on what is and is not possible for downstream use cases. By incorporating column-level lineage in the data modeling process it encourages a more robust and well-informed design. In this episode Satish Jayanthi explores the benefits of incorporating column-aware tooling in the data modeling process.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

RudderStack helps you build a customer data platform on your warehous…

3 months, 1 week назад @ dataengineeringpodcast.com
Build Better Tests For Your dbt Projects With Datafold And data-diff
Build Better Tests For Your dbt Projects With Datafold And data-diff

Summary

Data engineering is all about building workflows, pipelines, systems, and interfaces to provide stable and reliable data. Your data can be stable and wrong, but then it isn't reliable. Confidence in your data is achieved through constant validation and testing. Datafold has invested a lot of time into integrating with the workflow of dbt projects to add early verification that the changes you are making are correct. In this episode Gleb Mezhanskiy shares some valuable advice and insights into how you can build reliable and well-tested data assets with dbt and data-diff.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

RudderStack…

3 months, 2 weeks назад @ dataengineeringpodcast.com
Data Brew by Databricks
последний пост 2 months назад
LLMs: Internals, Hallucinations, and Applications | | Season 5 |E4
LLMs: Internals, Hallucinations, and Applications | | Season 5 |E4

Our fifth season dives into large language models (LLMs), from understanding the internals to the risks of using them and everything in between. While we're at it, we'll be enjoying our morning brew.In this session, we interviewed Chengyin Eng (Senior Data Scientist, Databricks), Sam Raymond (Senior Data Scientist, Databricks), and Joseph Bradley (Lead Production Specialist - ML, Databricks) on the best practices around LLM use cases, prompt engineering, and how to adapt MLOps for LLMs (i.e., LLMOps).

2 months назад @ buzzsprout.com
Demonstrate–Search–Predict Framework | | Season 5 |E3
Demonstrate–Search–Predict Framework | | Season 5 |E3

We will dive into LLMs for our fifth season, from understanding the internals to the risks of using them and everything in between. While we’re at it, we’ll be enjoying our morning brew.In this session, we interviewed Omar Khattab - Computer Science Ph.D. Student at Stanford, creator of DSP (Demonstrate–Search–Predict Framework), to discuss DSP, common applications, and the future of NLP.

2 months, 3 weeks назад @ buzzsprout.com
Generative AI Risks | | Season 5 |E2
Generative AI Risks | | Season 5 |E2

We will dive into LLMs for our fifth season, from understanding the internals to the risks of using them and everything in between. While we’re at it, we’ll be enjoying our morning brew.In this session, we interviewed Yaron Singer, CEO of Robust Intelligence, Professor of Computer Science at Harvard University, and guest of Data Brew Season 3 (our first repeat guest!). In this session, we discuss generative AI, the trends toward embracing LLMs, and how the surface area for vulnerabilities in generative AI is much bigger.

3 months, 2 weeks назад @ buzzsprout.com
John Snow Labs & SparkNLP | | Season 5 |E1
John Snow Labs & SparkNLP | | Season 5 |E1

For our fifth season, we will dive into LLMs from understanding the internals to the risks of using them and everything in between. While we’re at it, we’ll be enjoying our morning brew.In this session, we interviewed David Talby who is the CTO at John Snow Labs; they help healthcare & life science companies put AI to good use. David's interests include natural language processing, applied artificial intelligence in healthcare, and responsible AI.

3 months, 3 weeks назад @ buzzsprout.com
«Ничего такого» by Dodo Enginnering
последний пост None
Запуск завтра Podcast Запуск завтра Podcast
последний пост 3 months, 2 weeks назад
Бонус. История о факапе Microsoft
Бонус. История о факапе Microsoft Бонус. История о факапе Microsoft

Пройдите наш опрос: https://form.typeform.com/to/JtPoHCCk Друзья, мы уходим на каникулы и несколько месяцев не будем выпускать новые эпизоды. Чтобы слушать наш подкаст в перерыве, подписывайтесь на «Запуск++». Это бонусные выпуски подкаста, доступные платным подписчикам. Слушать «Запуск++» и другие бонусы по подписке ЛибоЛибо+ в приложении «Подкасты» от Apple https://cutt.ly/zap0806boap или в закрытом тг-канале Либо/Либо https://cutt.ly/zap0806botg Подписаться только на «Запуск++» в Телеграме: https://t.me/+N_AopnXC0dBkMGQy Чат Запуска в телеграме: https://t.me/zapuskzavtra Связаться: [email protected] Редакторка — Маша Агличева; Продюсеры — Настя Медведева и Саша Малинина; Звукорежисс…

3 months, 2 weeks назад @ zapuskzavtra.libsyn.com
Интернет в Китае. Как устроен великий китайский файрвол
Интернет в Китае. Как устроен великий китайский файрвол Интернет в Китае. Как устроен великий китайский файрвол

Пройдите наш опрос: https://form.typeform.com/to/JtPoHCCk Пятая часть всех пользователей интернета на планете приходится на Китай. При этом китайский интернет существует почти обособленно от остального мира. Как так получилось и в чем отличие пользовательского опыта в Китае разбираемся с двумя экспертами — Джеймсом Гриффитсом, британским журналистом и автором книги про файрвол и Леонидом Ковачичем, китаистом, изучающим системы контроля за интернетом в КНР. Реклама. Осваивайте новые стеки и технологии в Яндекс Практикуме: https://clck.ru/34FzoC Слушать «Запуск++» и другие бонусы по подписке ЛибоЛибо+ в приложении «Подкасты» от Apple https://cutt.ly/zap0106epap или в закрытом тг-канале Либо/Л…

3 months, 3 weeks назад @ zapuskzavtra.libsyn.com
Что нового в кибербезе? Взломы блокчейна, AI-атаки и аудиты за миллионы
Что нового в кибербезе? Взломы блокчейна, AI-атаки и аудиты за миллионы Что нового в кибербезе? Взломы блокчейна, AI-атаки и аудиты за миллионы

Омар Ганиев занимается кибербезопасностью больше 10 лет, а его команда ищет уязвимости в смарт-контрактах и взламывает внутренние сети банков. В этом эпизоде он рассказывает Самату, как забытые сервера приводят к взломам огромных корпораций, почему в блокчейне так много платят за обнаружение уязвимости и какие меры безопасности стоит принимать обычным пользователям. Реклама. Курс «Мидл Python-разработчик» от Яндекс Практикума: https://clck.ru/34FzkS Ссылки: Выступление Омара про AI security: https://www.youtube.com/watch?v=RhbKkaibUGQ Слушать «Запуск++» и другие бонусы по подписке ЛибоЛибо+ в приложении «Подкасты» от Apple https://cutt.ly/zap2505epap или в закрытом тг-канале Либо/Либо https…

4 months назад @ zapuskzavtra.libsyn.com
ClickHouse. Из разработки внутри Яндекса в самостоятельную компанию
ClickHouse. Из разработки внутри Яндекса в самостоятельную компанию ClickHouse. Из разработки внутри Яндекса в самостоятельную компанию

Алексей Миловидов занимается проектом ClickHouse больше 10 лет. За это время его разработка стала опенсорсной, вышла из-под крыла Яндекса и привлекла несколько миллиардов инвестиций. В этом эпизоде Алексей вспоминает этот путь и рассказывает, чем сейчас живет компания ClickHouse. Реклама. Бесплатный курс «Подготовка к алгоритмическому собеседованию» от Яндекс Практикума: https://clck.ru/34FzhT Ссылки: Документация ClickHouse: https://clck.ru/34TBES Andy Pavlo: Database Systems CMU: https://clck.ru/34TBFM Книга Designing Data-Intensive Applications: The Big Ideas Behind Reliable, Scalable, and Maintainable Systems, автор Мартин Клеппманн: https://clck.ru/34TBNE Build Your Own Redis: https://…

4 months, 1 week назад @ zapuskzavtra.libsyn.com
Найти себя на карте. Как GPS определяет наше местоположение
Найти себя на карте. Как GPS определяет наше местоположение Найти себя на карте. Как GPS определяет наше местоположение

Чтобы ваш телефон мог с высокой точностью определить, где вы находитесь, государства вкладывают миллиарды долларов в запуск в космос спутников, а еще строят сложную инфраструктуру на земле. В этом эпизоде эксперт по системам навигации Игорь Веренинов рассказывает, как они устроены и как их делают еще точнее. Реклама. Станьте экспертом Яндекс Практикума: https://clck.ru/34FzZN Эпизод про точное время: https://pc.st/e/0J2gxUNxjHU Эпизод подкаста «Собес» про ChatGPT: https://pc.st/e/4NZyyE2wmPu Слушать «Запуск++» и другие бонусы по подписке ЛибоЛибо+ в приложении «Подкасты» от Apple https://cutt.ly/26vdkmC или в закрытом тг-канале Либо/Либо https://cutt.ly/e6vsNWv Подписаться только на «Запуск…

4 months, 2 weeks назад @ zapuskzavtra.libsyn.com
Ликбез о микрофонах. Как они устроены и как выбрать свой
Ликбез о микрофонах. Как они устроены и как выбрать свой Ликбез о микрофонах. Как они устроены и как выбрать свой

В подкастах важен хороший звук, и Самат наконец-то решил разобраться, как его получают. В этом ему помогает Илья Лукашев — звукорежиссер и большой энтузиаст микрофонов. Почему поролон для подавления шумов — миф? Как создать эффект шепота в ухо? Нужно ли покупать микрофон для зум-созвонов? Обо всем этом — в новом эпизоде. Реклама. «Курс Мидл Python-разработчик» от Яндекс Практикума: https://clck.ru/33pVid Сообщество Ильи: https://vk.com/boring_sound YouTube-канал Ильи: https://www.youtube.com/@ilyalukashev/videos Ссылки: Сравнение направленности микрофонов: https://clck.ru/34Fy89 Бинауральный микрофон: https://clck.ru/34Fy8t Audio test kitchen: https://www.audiotestkitchen.com Gearspace: htt…

5 months назад @ zapuskzavtra.libsyn.com
Войти в IT: детская версия. Как подружить школьника с цифровым миром
Войти в IT: детская версия. Как подружить школьника с цифровым миром Войти в IT: детская версия. Как подружить школьника с цифровым миром

Тизер: в этом выпуске дочь Самата учится программировать! 150 тысяч детей учат информатику по программе Яндекс Учебника. Гость сегодняшнего эпизода Влад Степанов рассказал, зачем школьникам питон и как его команда проектирует уроки для детей, которые и так с детства пользуются гаджетами и интернетом. Реклама. «Курс по автоматизации тестирования на Java и Python» от Яндекс Практикума: https://clck.ru/33pVge Информатика от Яндекс Учебника: https://education.yandex.ru/inf/ Рекомендации от гостя: Подкаст про викторианский стиль: https://clck.ru/34C6R7 Игра, разработанная детьми: https://clck.ru/34C6Rm Канал Veritasuim: https://youtube.com/@veritasium (видео с русским дубляжом — https://youtube.…

5 months, 1 week назад @ zapuskzavtra.libsyn.com
Нейроинтерфейсы. Как связать компьютер с мозгом
Нейроинтерфейсы. Как связать компьютер с мозгом Нейроинтерфейсы. Как связать компьютер с мозгом

В этом эпизоде разбираемся, как считывать сигналы с мозга, анализировать активность лобных долей и играть в нейроигры. И главное — зачем всё это нужно. В гостях — Дмитрий Конышев, руководитель разработки в компании Нейроботикс. Реклама. Бесплатный курс от Яндекс Практикума «Подготовка к алгоритмическому собеседованию»: https://clck.ru/33pVgN Подписаться на «Запуск++» в Телеграме: https://t.me/+N_AopnXC0dBkMGQy Подписаться на Либо/Либо+ в Телеграме, куда включены эпизоды «Запуск++»: https://t.me/+LXZx5JRqO4o0MjJi Чат Запуска в телеграме: https://t.me/zapuskzavtra Связаться: [email protected] Партнер этого подкаста — Яндекс Практикум. https://practicum.yandex.ru/ Редакторка — Маша Агличе…

5 months, 2 weeks назад @ zapuskzavtra.libsyn.com
Цифровая нефть. Как искусственный интеллект помогает нефтедобыче
Цифровая нефть. Как искусственный интеллект помогает нефтедобыче Цифровая нефть. Как искусственный интеллект помогает нефтедобыче

Предсказательные модели, вычисления на суперкомпьютерах и анализ горных пород с помощью нейросетей — вот что получается, когда в консервативную индустрию приходят бодрые айтишные стартапы. Основатель компании Digital Petroleum Дмитрий Коротеев рассказывает, как разрабатывает инструменты, экономящие время и деньги нефтяных гигантов. Релама. Бесплатный курс от Яндекс Практикума «Основы Go»: https://clck.ru/33pVg3 Подписаться на «Запуск++» в Телеграме: https://t.me/+N_AopnXC0dBkMGQy Подписаться на Либо/Либо+ в Телеграме, куда включены эпизоды «Запуск++»: https://t.me/+LXZx5JRqO4o0MjJi Чат Запуска в телеграме: https://t.me/zapuskzavtra Связаться: [email protected] Партнер этого подкаста — …

5 months, 3 weeks назад @ zapuskzavtra.libsyn.com
Как находить иностранных клиентов. Отвечают «Злые марсиане»
Как находить иностранных клиентов. Отвечают «Злые марсиане» Как находить иностранных клиентов. Отвечают «Злые марсиане»

Как русскоязычной компании сделать имя в Кремниевой долине? В этом выпуске Ира Назарова, СEO Evil Martians, учит Самата нетворкать и критиковать по-американски, а еще рассказывает, как продавать то, что бесплатно. Реклама. Курс от Яндекс Практикума Middle Python-разработчик: https://clck.ru/33pVdS Сайт Злых Марсиан https://evilmartians.com Твиттер марсиан https://twitter.com/evilmartians Эпизод Запуска++ про Ruby можно послушать по подписке. Подписаться на «Запуск++» в Телеграме: https://t.me/+N_AopnXC0dBkMGQy Подписаться на Либо/Либо+ в Телеграме, куда включены эпизоды «Запуск++»: https://t.me/+LXZx5JRqO4o0MjJi Чат Запуска в телеграме: https://t.me/zapuskzavtra Связаться: zapuskzavtra@gmai…

5 months, 4 weeks назад @ zapuskzavtra.libsyn.com
Спутники в космосе и инженеры на земле. Откуда берется точное время
Спутники в космосе и инженеры на земле. Откуда берется точное время Спутники в космосе и инженеры на земле. Откуда берется точное время

Зачем знать время с точностью до наносекунд? Что будет, если не «подкручивать» часики? Как секунда может быть отрицательной? Инженер из Facebook Олег Облеухов рассказывает, как люди и компьютеры гонятся за точностью времени. А еще пугает Самата тем, что случится в 2036 году. Реклама. Курс для прокачки навыков фронтенда от Яндекс Практикума: https://clck.ru/33pVdD Эпизод про сотовые сети: https://pc.st/e/2Bw2jdxLn3j Посты Олега в инженерном блоге Facebook: NTP: https://clck.ru/33qvmN Open source time appliance: https://clck.ru/33qvrC Leap second: https://clck.ru/33qvu9 PTP: https://clck.ru/33qvur Leap Second: https://en.wikipedia.org/wiki/Leap_second Подписаться на «Запуск++» в Телеграме: ht…

6 months назад @ zapuskzavtra.libsyn.com
Что умеет умный дом
Что умеет умный дом Что умеет умный дом

Как подружить умную лампочку от Яндекса с теплым полом? Как умнеют целые города? Катя Основина из компании iRidi рассказывает, как умные дома учатся понимать наши потребности и заботятся о нашем здоровье. Реклама. Курсы от Яндекс Практикума для разаботчиков и тестировщиков. Осваивайте новые стеки и технологии: https://clck.ru/33jL64 Сайт компании: https://iridi.com/ Саммит IRidi: https://youtu.be/n9gcpYZ3-8g Подписаться на «Запуск++» в Телеграме: https://t.me/+N_AopnXC0dBkMGQy Подписаться на Либо/Либо+ в Телеграме, куда включены эпизоды «Запуск++»: https://t.me/+LXZx5JRqO4o0MjJi Чат Запуска в телеграме: https://t.me/zapuskzavtra Связаться: [email protected] Партнер этого подкаста — Янд…

6 months, 1 week назад @ zapuskzavtra.libsyn.com
Wi-Fi. Как появился золотой стандарт беспроводной связи
Wi-Fi. Как появился золотой стандарт беспроводной связи Wi-Fi. Как появился золотой стандарт беспроводной связи

Какое отношение Стивен Хокинг имеет к появлению Wi-Fi? Почему файлы загружаются дольше, чем скачиваются? Как за вами следят точки доступа? Историю появления самой популярной беспроводной технологии рассказывает Кирилл Луконин, автор канала «Злой беспроводник». Реклама. Курсы от Яндекс Практикума для фронтенд-разработчиков по JavaScript и React: https://clck.ru/33fdwx Ссылки: Злой беспроводник https://t.me/EvilWirelessMan База полезных материалов на GitHub https://github.com/skhomm/useful-wireless-links Подписаться на «Запуск++» в Телеграме: https://t.me/+N_AopnXC0dBkMGQy Подписаться на Либо/Либо+ в Телеграме, куда включены эпизоды «Запуск++»: https://t.me/+LXZx5JRqO4o0MjJi Чат Запуска в тел…

6 months, 2 weeks назад @ zapuskzavtra.libsyn.com
(Не)случайные процессы. Как математики предсказывают распространение вирусов и результаты выборов
(Не)случайные процессы. Как математики предсказывают распространение вирусов и результаты выборов (Не)случайные процессы. Как математики предсказывают распространение вирусов и результаты выборов

Этот эпизод — об одной математической задаче со смешным названием, без которой мы смотрели бы на мир совсем по-другому. Математик Люба Тупикина рассказывает, как ученые предсказывают случайные процессы, находят объяснение смертности людей, вычисляют размер интернета, и при чем тут Альберт Эйнштейн. Реклама. Курс от Яндекс Практикума курс для тех, кто знаком с основами Python-разработки и хочет вырасти до мидла. Подробности по ссылке: https://clck.ru/33fduz Рекомендации от гостьи: «First Steps in Random Walks» Соколова и Клафтера «Сила слабых связей» Грановеттера «Теория вероятности» Колмогорова Статьи Станислава Смирнова Подписаться на «Запуск++» в Телеграме: https://t.me/+N_AopnXC0dBkMGQy …

6 months, 3 weeks назад @ zapuskzavtra.libsyn.com
Как электричество попадает к нам домой
Как электричество попадает к нам домой Как электричество попадает к нам домой

В «Запуске завтра» мы уже девять сезонов рассказываем о технологиях, которые меняют нашу жизнь. Но все они невозможны без электроэнергии. В этом эпизоде разбираемся, как работают электрические сети, в какой стране розетки безопаснее и почему гудят трансформаторы. Реклама. У Яндекс Практикума есть два курса по автоматизации тестирования: на Java и на Python. Подробности по ссылке: https://clck.ru/33YASz Канал Энерголикбез: https://youtube.com/@energolikbez Подписаться на «Запуск++» в Телеграме: https://t.me/+N_AopnXC0dBkMGQy Подписаться на Либо/Либо+ в Телеграме, куда включены эпизоды «Запуск++»: https://t.me/+LXZx5JRqO4o0MjJi Чат Запуска в телеграме: https://t.me/zapuskzavtra Связаться: zap…

7 months назад @ zapuskzavtra.libsyn.com
Moscow Python Podcast Moscow Python Podcast
последний пост 2 weeks, 1 day назад
Опыт перехода компании на Pydantic 2
Опыт перехода компании на Pydantic 2

Главный спонсор подкаста курсы Learn Python — https://learn.python.ru/ Этот выпуск посвятили опыту перехода на Pydantic 2 и пригласили Антона Огородникова, Magnit tech, чтобы обсудить: об Антоне почему решили переводить сервис на Pydantic 2 и как это делали

сколько времени и ресурсов ушло на переход

на какие side-эффекты наткнулись

что такое гильдии в Magnit tech

планируют ли вводить тестирование первых версий софта

использовали ли ребята Bump Pydantic

как долго надо ждать прежде чем внедрить софт

ответ на вопрос, реально ли найти работу, если контрибьютера в разные фреймворки (25-30 pr в мес) Ведущие: Михаил Корнеев и Григорий Петров

Ссылки выпуска:

Канал Миши в Telegram — https://t.me/tri…

2 weeks, 1 day назад @ learnpython.podbean.com
Litestar 2.0 / поддержка Python в Microsoft Excel / 2FA в PyPI для новых пользователей / PEP 683 и PEP
Litestar 2.0 / поддержка Python в Microsoft Excel / 2FA в PyPI для новых пользователей / PEP 683 и PEP

Новый выпуск посвятили актуальным новостям за август 2023 года в мире Python. Ниже оставили ссылки на все материалы этого подкаста.

Ссылки на новости из выпуска:

Litestar 2.0

поддержка Python в Microsoft Excel PEP 683 – Immortal Objects, Using a Fixed Refcount

PyPi Safety and Security Engineer PyPi теперь требует 2fa для всех новых пользователей Ведущие: Михаил Корнеев и Григорий Петров

Ссылки выпуска: Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы MoscowPython — https://moscowpython.ru

3 weeks, 1 day назад @ learnpython.podbean.com
Почему мы не можем просто кодить?
Почему мы не можем просто кодить?

Этот выпуск посвятили важности архитектуры, как она связана с тестированием и зачем нужны линтеры и пригласили Николай Хитрова, Литрес, чтобы обсудить: почему Elixir

почему Алан Кэй назвал ООП ошибкой

как жить, когда у тебя всё — объект нравится ли Мише actor model что делают, когда всё плохо используют ли подходы из чистой архитектуры

про абстрактную фабрику фабрик

применение MVC и как настраивали процессы в Литрес

тулзы, которые автоматически говорят про сложность

как организовано тестирование

линтеры для тестов

почему не нужно сразу использовать интересные штуки «вся история про архитектуру — это про внесение изменений»

ответ на вопрос про большой граф зависимостей при использовании DI б…

1 month назад @ learnpython.podbean.com
Релиз Pydantic 2 / Threads и Python 3.10 / PSF ищет людей на улучшение СPython и другие новости
Релиз Pydantic 2 / Threads и Python 3.10 / PSF ищет людей на улучшение СPython и другие новости

Новый выпуск посвятили актуальным новостям за июль 2023 года в мире Python. Ниже оставили ссылки на все материалы этого подкаста.

Ссылки на новости из выпуска:

Pydantic 2 FastAPI 0.100.0

PEP 703 — no GIL

Threads и Python 3.10

PSF ищет человека, который будет заниматься фултайм улучшением процессов разработки CPython

Амазон выкатил поддержку Python 3.11 в лямбдах Дэвид Бизли выпустил бесплатный курс Advanced Python Mastery

PyPI перестает принимать .egg-файлы для загрузки

В PEP 387 – Backwards Compatibility Policy добавлен Soft Deprecation Ведущие: Михаил Корнеев и Григорий Петров

Ссылки выпуска: Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/…

1 month, 3 weeks назад @ learnpython.podbean.com
опрос Stackoverflow / PEP 594 / PSF Board 2023 / релиз JupyterLab 4
опрос Stackoverflow / PEP 594 / PSF Board 2023 / релиз JupyterLab 4

Новый выпуск посвятили актуальным новостям за июнь 2023 года в мире Python. Ниже оставили ссылки на все материалы этого подкаста. Ссылки на новости из выпуска:

StackOverflow выпустил результаты очередного опроса разработчиков

В python 3.13 удалят еще 20 модулей из stdlib (PEP 594) Выбрали участников PSF Board на 2023 год PSF наняли специалиста по безопасности

Видео с Pycon US

Видео с DjangoCon EU

релиз Jupyter Lab 4 Ведущие: Михаил Корнеев и Григорий Петров

Ссылки выпуска: Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Митап Moscow Python 15 июня —https://moscowdjango.timepad.ru/event/2445754/ Все выпуски — https://podcast.pyth…

2 months, 1 week назад @ learnpython.podbean.com
Мир аналитики данных
Мир аналитики данных

Этот выпуск посвятили аналитике данных и пригласили Андрея Татаринова, Epoch8, чтобы обсудить: как Андрей попал в выпуск

Epoch8

отличие веб-разработчиков от тех «кто молотит данные»

как устроен Pandas

колоночная база данных

первая проблема в обработке данных

почему строка в Python — сложно

про Pandas

все так хорошо, что NumPy доживает свои дни?

«при использовании Pandas бояться деградации скорости из-за копирований не надо»

оптиизации

почему Polars быстрый

Polars vs. Pandas

брать ли Polars вместо Pandas оптимизация больших проектов «с Pandas 2.0 преимущество стало меньше»

тренд на ускорение и Rust

анекдот и ответ на вопрос

«Polars это неполная замена Pandas»

ответ на вопрос, почему inplace …

2 months, 3 weeks назад @ learnpython.podbean.com
Типизация в Python
Типизация в Python

Новый выпуск посвятили типизации в Python, разобраться во всех нюансах помогли Никита Соболев, wemake.services и Сергей Петров, Selectel. Тайм-коды

1:30 - типы это худшее или лучшее, что произошло с Python?

4:52 - что продвигает Никита

6:30 - нужно ли топить за типы

10:00 - PEP 692, TypedDict

13:24 - PEP 698, Override Decorator for static type

14:50 - PEP 695, Type Parameter Syntax

22:00 - PEP 688, История его появления от Никиты

23:53 - SQLAchemy 2 сильно пошатнула работу с типами

29:10 - типы ушли в runtime (или ушли от runtime)

30:40 - что не так с валидацией

37:13 - ответ на вопрос, насколько часто используете протоколы в качестве типов

39:15 - ответ на вопрос, стоит ли читать книги по …

3 months, 1 week назад @ learnpython.podbean.com
Language Summit 2023 / новости PyPI / Python 3.12 beta 1/ Diablo 4
Language Summit 2023 / новости PyPI / Python 3.12 beta 1/ Diablo 4

Новый выпуск посвятили актуальным новостям за май 2023 года в мире Python. Параллельно играли в Diablo, поэтому лучше смотреть видеоверсию. Ниже оставили ссылки на все материалы этого подкаста. Тайм-коды 00:00 - интро

2:30 - GIL в Python

4:00 - нужны ли subenterpretator при наличии GIL

10:00 - subenterpretator в Ruby

12:45 - стандартная библиотека (что добавлять, что отбавлять)

13:20 - с одной стороны добавили Pathlib

14:00 - одно взлетает, а другое нет (FastAPI, AIOHTTP)

14:35 - сравнение добавления в Python и Ruby

16:26 - Dark Python

17:00 - пример добавления типов

17:55 - то, когда добавили Asyncio

18:45 - концепция: «современный Python - это PyPI»

19:00 - dataclass

20:45 - расширение си…

3 months, 3 weeks назад @ learnpython.podbean.com
Как внедрить Python в компанию с тысячей разработчиков на C#
Как внедрить Python в компанию с тысячей разработчиков на C#

В гостях у Moscow Python Podcast Даниил Мясников, Руководитель Python-разработки в Контуре. Обсудили в выпуске:

зачем затаскивать Python в компанию с С# разработчиками

какая была реакция у бизнеса реакция разработчиков о переходе на Python

основные претензии C# разработчиков к внедрению Python

блиц-вопросы от Гриши про интерфейс и про IronPython

чему питонист может научиться у шарписта

комфортно ли было переключаться между стилями

многих ли шарпистов удалось переключить на Python как обучали сотрудников Python

что не нравилось в Python и как замеряли перфоманс

истории Миши и Гриши про Linux

что фиксировали при заносе, а что отдали на откуп разработчиков

блиц-вопрос про аннотации типов

для ч…

4 months, 1 week назад @ learnpython.podbean.com
Что нового в мире Python за апрель
Что нового в мире Python за апрель

Новый выпуск посвятили актуальным новостям за апрель 2023 года в мире Python. Ниже оставили ссылки на все материалы этого подкаста.

• статья от Python Software Foundation - https://pyfound.blogspot.com/2023/04/the-eus-proposed-cra-law-may-have.html • европейские акты:

- Cyber Resilience Act - https://digital-strategy.ec.europa.eu/en/library/cyber-resilience-act - Product Liability Act - https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX%3A52022PC0495 • релиз urllib3 2.0 - https://sethmlarson.dev/urllib3-2.0.0 • PyPI анонсировали поддержку trusted publisher - https://blog.pypi.org/posts/2023-04-20-introducing-trusted-publishers/ • менеджер пакетов от создателя Flask - https://github.c…

4 months, 3 weeks назад @ learnpython.podbean.com
Обучение подростков и взрослых Python в 2023 году / Программирование — вторая грамотность
Обучение подростков и взрослых Python в 2023 году / Программирование — вторая грамотность

В гостях у Moscow Python Podcast Артем Рудаковский,

преподаватель Лицея Академии Яндекса. Обсудили в выпуске:

путь Артема в программировании и начало преподавания

что такое Академия Яндекса

Яндекс приходит в школы и делает свое обучение или заменяет уроки информатики

что вкладывается в тезис «программирование — вторая грамотность» и будет ли необходимо программировать, чтобы выжить через 50 лет

насколько нужно программирование, когда есть ChatGPT

главные различия при обучение программированию подростка и взрослого

честно ли показывать программирование интересным или нужно показывать реальность в индустрии

инструменты, которые используют в Лицее Академии Яндекса

гайды для родителей, которые …

4 months, 4 weeks назад @ learnpython.podbean.com
Ответы на вопросы зрителей про Python
Ответы на вопросы зрителей про Python

Привет! В специальном выпуске с ответами на вопросы зрителей обсудили: портрет middle-разработчика как не сломать типы хорошая ли идея перейти с Python на Golang

остался ли смысл от AIOHTTP после релиза Django 4.2

как дебажить асинхронный код на предмет наличия блокирующих event loop вызовов

и другие вопросы Ведущие: Михаил Корнеев и Григорий Петров

CFP Moscow Python Conf

https://cfp.conf.python.ru Все выпуски:

https://podcast.python.ru Митапы MoscowPython:

https://moscowpython.ru Курс Learn Python:

https://learn.python.ru/

5 months, 1 week назад @ learnpython.podbean.com
Что нового в мире Python за март
Что нового в мире Python за март

Новый выпуск посвятили актуальным новостям за март 2023 года в мире Python. Ниже оставили ссылки на все материалы этого подкаста.

• LTS-релиз Django 4.2 - https://pandas.pydata.org/docs/dev/whatsnew/v2.0.0.html • Вышел pandas 2.0 - https://pandas.pydata.org/docs/dev/whatsnew/v2.0.0.html • Релиз PyTorch 2.0 - https://pytorch.org/blog/pytorch-2.0-release/ • Исследование экосистемы Django от JetBrains - https://lp.jetbrains.com/django-developer-survey-2022/ • PEP 709 – Inlined comprehensions - https://peps.python.org/pep-0709/ • PEP 582 - https://discuss.python.org/t/pep-582-python-local-packages-directory/963/430 • PEP 710 Recording the provenance of installed https://peps.python.org/pep-0710…

5 months, 2 weeks назад @ learnpython.podbean.com
Боли и радости observability
Боли и радости observability

В гостях у Moscow Python Podcast Мстислав Казаков, руководитель Python практики, Usetech. Обсудили в выпуске:

что такое observability

куда смотреть, если observability не завезли

зачем придумывать навороты с логгингом

как ввести в проект observability

о главной проблеме логов

о readiness и liveness или зачем начинать с хелсчеков в Django

Sentry и Elastic APM, в чем разница и схожесть

как работает New Relic

в чем плюсы Elastic APM и почему стоит начинать с docker run

«‎когда говорят об observability у всех в голове prometheus и grafana»‎

ответы на вопрос про ошибку процесса измерения, в чем преимущество ELK перед Graylog, про отслеживание блокировок баз данных в observability, ​про отличия п…

5 months, 3 weeks назад @ learnpython.podbean.com
Как сделать работу разработчика удобнее — CI/CD, DevOps, Jenkins
Как сделать работу разработчика удобнее — CI/CD, DevOps, Jenkins

В гостях у Moscow Python Podcast Алексей Андрияш, тимлид, YADRO. Обсудили в выпуске:

чем занимается команда тулов в YADRO Jenkins и причем здесь «большой драчевый напильник»

с чего начинать работу с CI/CD

нужно ли изучать Jenkins про запас или просто знать о нем

умирает ли концепция DevOps «проблемы возникают, когда есть сложные environments или стенды»

деплой в системе хранения данных и использование пирамиды тестирования

оффтоп, как Алексей пришел к такой жизни с DevOps почему о DevOps вспоминают, когда все плохо и каким людям лучше не становиться девопсами

про YAML

зачем делить команду тулов и команду DevOps

ответили на вопросы, применим ли антипаттерн преждевременной оптимизации к DevOp…

6 months, 1 week назад @ learnpython.podbean.com
Podlodka Podcast Podlodka Podcast
последний пост 6 days, 11 hours назад
Podlodka #338 – Бег
Podlodka #338 – Бег Podlodka #338 – Бег

Бег один из самых популярных и противоречивых видов спорта для любителей. Одни регулярно выкладывают фото с марафонов, другие – ворчат про ударную нагрузку, разваливающиеся колени и прочий вред бега. Где правда, а где фейк разбирались с двухкратным победителем московского марафона – Искандером Ядгаровым. 25 и 26 сентября пройдет Yandex Scale – главная конференция об облаках в России. Все о трендах облачного рынка и новостях платформы из первых рук. 36 крутых докладов, 50 спикеров и много интересных кейсов в шести треках: Data Platform, Security, ML, Serverless, Digital Workplace, Infra + K8s. Участие бесплатное. Посмотреть программу: https://clck.ru/35jErQ Регистрация: https://clck.ru/35jEu…

6 days, 11 hours назад @ soundcloud.com
Podlodka #337 – Поиск целевой аудитории
Podlodka #337 – Поиск целевой аудитории Podlodka #337 – Поиск целевой аудитории

Одна из самых больших проблем начинающих продуктов – это поиск сегмента пользователей, которым он будет помогать решать задачу. С Ваней Замесиным обсудили как можно подойти к этой проблеме. Применили фреймворк Jobs to be done и рассмотрели как появляются новые успешные продукты в разрезе “работ”, которые выполняются. Яндекс Практикум запустил курс «Архитектура программного обеспечения» — курс для опытных разработчиков, которые хотят научиться создавать с нуля архитектуру сервисов и приложений. Вас ждёт много практических заданий, прокачка насмотренности в области архитектуры ПО и экспертиза от техлидов Яндекса и других технологических компаний: https://clck.ru/35XSP8 Запрыгиваем на конферен…

1 week, 6 days назад @ soundcloud.com
Podlodka #336 – Программирование в науке
Podlodka #336 – Программирование в науке Podlodka #336 – Программирование в науке

Несколько десятков лет назад программирование и наука были неразрывно связаны, ведь код был инструментом для научных исследований и расчетов. Но в какой-то момент времени произошло разделение, и сегодня привычное нам промышленное программирование очень далеко от того, что используется в фундаментальной и прикладной науке. Почему так случилось? На каких языках программируют ученые сегодня? Каких практик из ИТ индустрии не хватает науке, а что, наоборот, мы можем перенять от ученых и исследователей? Как решение научных задач влияют на промышленную разработку? Александр Нозик, кандидат физ.-мат. наук и директор центра научного программирования в МФТИ, устроил нам увлекательный экскурс в мир на…

2 weeks, 6 days назад @ soundcloud.com
Podlodka #335 – Сыр
Podlodka #335 – Сыр Podlodka #335 – Сыр

После выпусков про напитки мы плавно переходим на самое интересное в этой жизни – еду. Вместе с сырным сомелье Александром Крупецковым, который много лет назад предпочел сыры программированию на C#, мы разбираемся в том, как из одного и того же молока можно получить так много различных сыров, как отличить хороший сыр от плохого, откуда у него берется плесень, и, главное, какой же сыр – самый лучший! Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Катя Петрова, Егор Т…

3 weeks, 6 days назад @ soundcloud.com
Podlodka #334 – Стартап-акселераторы
Podlodka #334 – Стартап-акселераторы Podlodka #334 – Стартап-акселераторы

У вас есть гениальная идея стартапа, но нет понимания как его можно воплотить в жизнь и превратить в следующий единорог? Часто ответом на этот вопрос могут быть стартап-акселераторы. Как они могут помочь начинающему бизнесу нам рассказал управляющий партнер синдиката United Investors Илья Мартын. Пишите, чтобы узнать детали и запартнёриться с подкастом и конференциями Podlodka Crew: t.me/katerina_sbityakova и t.me/rio_de_novo. Или на почту [email protected] ⚓️ Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://…

1 month назад @ soundcloud.com
Podlodka #333 – Бизнес на опенсорсе
Podlodka #333 – Бизнес на опенсорсе Podlodka #333 – Бизнес на опенсорсе

Опенсорс – это не только комьюнити, любовь к программированию и прекрасная идеология, но и возможность заработать! Вместе с Петром Зайцевым из Percona выясняем, где же скрываются ниши для бизнеса на опенсорсе. Твиттер гостя – PeterZaitsev Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Женя Кателла, Стас Цыганов Полезные ссылки: Соцсети и сайт гостя

https://twitter.com/PeterZaitsev/

https://linkedin.com/in/peterzaitsev/ https://www.instagram.com/peterzaitsev/ https:/…

1 month, 1 week назад @ soundcloud.com
Podlodka #332 – Системы бронирования авиабилетов
Podlodka #332 – Системы бронирования авиабилетов Podlodka #332 – Системы бронирования авиабилетов

Задумывались ли вы, что происходит в момент, когда вы запрашиваете выдачу в своем любимом поисковике авиабилетов? Авиация — сложнейшая предметная область, с множеством организаций, связанных друг с другом, различными стандартами, кучей исключений и, конечно, достаточным количеством легаси. Поэтому разобраться в этом — дело чести для нашего подкаста! Разобраться в том, как устроена автоматизация всех взаимосвязанных процессов, позволяющая нам в три клика находить маршруты для самых нетривиальных путешествий нам помогал Иван Садовой, техлид команды Авиа в Tutu.ru. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: http…

1 month, 2 weeks назад @ soundcloud.com
Podlodka #331 – Dart
Podlodka #331 – Dart Podlodka #331 – Dart

Есть хорошая такая вероятность, что когда-нибудь Netflix купит права на экранизацию истории создания и развития языка Dart – настолько она захватывающая! Слава Егоров, лид команды нативного компилятора Dart, наблюдал за этой историей своими глазами, так как он был в команде разработки с нулевого дня. Если вы хотите получше узнать про философию Dart, его основные языковые фичи, сильные и слабые стороны, не скатываясь в обсуждение Flutter – этот выпуск для вас! Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitte…

1 month, 3 weeks назад @ soundcloud.com
Podlodka #330 – Пиво
Podlodka #330 – Пиво Podlodka #330 – Пиво

Наконец мы записали выпуск про один из самых космополитичных и доступных напитков! Про пиво нам рассказал сооснователь пивоварни Чаща – Сергей Гаршин. В выпуске начали с историй как пиво спасало в дремучем средневековье, а закончили классификацией и мифами про пиво из порошка. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Стас Цыганов, Евгений Кателла, Катя Петрова Полезные ссылки: Untappd (самая популярная социальная сеть/ каталог у биргиков в России)

https://unta…

2 months назад @ soundcloud.com
Podlodka #329 – Data-engineering
Podlodka #329 – Data-engineering Podlodka #329 – Data-engineering

Чтобы принимать разумные решения, нужны данные. А чтобы данные были качественные и своевременные – нужны дата-инженеры! Кто они, чем занимаются и при чем тут биг дата – выясняем с Глебом Кантеровым. Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Женя Кателла, Стас Цыганов Полезные ссылки: Книга Data Warehouse Toolkit

https://www.kimballgroup.com/data-warehouse-business-intelligence-resources/books/data-warehou…

2 months, 1 week назад @ soundcloud.com
Podlodka #328 – Здоровье кожи, часть 2
Podlodka #328 – Здоровье кожи, часть 2 Podlodka #328 – Здоровье кожи, часть 2

Вторая часть серии посвящена исключительно практическим вопросам: как ухаживать за бородой, как (и нужно ли?) бороться с мешками и синяками под глазами, чем отличается уход за кожей лица от остальных частей тела, зачем ходить к косметологу и какие основные ошибки совершают люди при борьбе с акне. Надя Каплева, Chief Medical Officer в Pora.ai дала множество полезных рекомендаций и, как и в прошлом выпуске, подкрепила советы мощной теоретической базой. Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.c…

2 months, 2 weeks назад @ soundcloud.com
Podlodka #327 – Event-driven архитектура
Podlodka #327 – Event-driven архитектура Podlodka #327 – Event-driven архитектура

Что делать, если система стала настолько сложной, что невозможно понять кто, как и в каком порядке должен вызвать какие API? Перейти на event-driven подход! Что это и зачем – разбираемся с Виктором Гамовым. Слушать второй эпизод подкаста «Бреслав и Ложечкин»: https://clc.to/wF8N8A

Канал с анонсами: https://t.me/breslavandlozhechkin Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Женя Кателла, Егор Толстой Полез…

2 months, 3 weeks назад @ soundcloud.com
Podlodka #326 – Холакратия
Podlodka #326 – Холакратия Podlodka #326 – Холакратия

Холакратия, как управленческая система, встречается в организациях не так часто, тем интереснее получился разговор с тимлидом из Точки – Кузнецовым Андреем. Основа подхода в разделении ответственности между самоорганизующимися командами. На систему посмотрели как на уровне отдельной команды, так и целой организации. Сыграйте в игру от Точки и узнайте, насколько вам подходит такой уровень самоорганизации. Перед вами будут кейсы из реальной разработки и варианты ответа, как поступить и решить задачу. Выбирай тот, что вам ближе, и смотрите, к чему это приведёт. 🎮 Играть: https://t.me/Hola_Tochka_bot Ведущие в выпуске:

Стас Цыганов, Егор Толстой Полезные ссылки: Конституция на английском

https:…

3 months назад @ soundcloud.com
Podlodka #325 – Здоровье кожи, часть 1
Podlodka #325 – Здоровье кожи, часть 1 Podlodka #325 – Здоровье кожи, часть 1

Здоровая и красивая кожа – это система, на которую влияет огромное количество разных факторов. В выпуске с Надей Каплевой, Chief Medical Officer в Pora.ai, мы разобрались в том, как правильно построить ритуалы домашнего ухода за кожей и выбрать работающую именно для вас косметику. Мы всё ещё партнёримся с Точкой! Посмотрите, какие сервисы они создают и как живут их разработчики, на сайте (https://tchk.me/uKrxaq). Там же найдёте ссылку на хабр, выступления на конфах и вакансии. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккау…

3 months назад @ soundcloud.com
Podlodka #324 – 3D графика
Podlodka #324 – 3D графика Podlodka #324 – 3D графика

Перед вами новый шедевр игровой индустрии с потрясающей графикой. Задумывались ли вы о всей той магии, которая случается, чтобы пиксели сложились в ошеломительную картинку? Какой объем вычислений происходит, чтобы вот та тень от деревца была максимально реалистична? Скорее включайте выпуск и давайте разбираться! Никита Лисица преподает графику в СПБГУ, а в этом выпуске устроил для нас эксклюзивную лекцию по 3D графике и рассказал, как сложные алгоритмы преобразуются в живописные ландшафты, реалистичные тени и мягкое освещение. Обсудим различные API для работы с видеокартой, разбираемся, как устроен процесс рисования, как работают различные эффекты и как все это дело можно оптимизировать. Кс…

3 months, 1 week назад @ soundcloud.com
Проветримся! Проветримся!
последний пост 2 months, 1 week назад
Андрей Себрант: длинные технологические тренды
Андрей Себрант: длинные технологические тренды

Закрываем сезон разговором про длинные технологические тренды с Андреем Себрантом. Андрей — директор Яндекса по стратегическому маркетингу, автор и ведущий подкаста "Трёп Себранта", автор телеграм канала TechSparks.Не забудьте поделиться этим эпизодом (и любыми другими, которые вам понравятся).ApplePodcasts: https://apple.co/2Psx8ydGooglePodcasts: https://shorturl.at/finK1Я.Музыка: https://clck.ru/JJB8ySupport the show

2 months, 1 week назад @ buzzsprout.com
Дмитрий Железов: криптовалюты
Дмитрий Железов: криптовалюты

Дмитрий Железов получил PhD по математике в Университете Чалмерс. Он сооснователь компании Subsquid, которая разрабатывает протокол для индексации данных на блокчейн.https://www.subsquid.io/Support the show

2 months, 3 weeks назад @ buzzsprout.com
Григорий Сапунов: Генеративные Модели
Григорий Сапунов: Генеративные Модели

Григорий Сапунов — специалист по машинному обучению, соавтор канала Gonzo-ML и сооснователь компании Intento.Gonzo-MLhttps://t.me/gonzo_MLIntentohttps://inten.to/Не забудьте подписаться на юутбhttps://youtu.be/5ioSqLspbAESupport the show

2 months, 4 weeks назад @ buzzsprout.com
Григорий Бакунов: технологии и люди
Григорий Бакунов: технологии и люди

Григорий Бакунов эксперт в области информационных технологий, соведущий подкаста радио-Т и автор канала @addmetoМы начали с разговора про искусственный интеллект, а закончили широким обзором технологий, которые меняют нашу повседневную жизнь.Слушайте "Проветримся!", где вам удобно:ApplePodcasts: https://apple.co/2Psx8ydGooglePodcasts: https://clck.ru/F7BA7Я.Музыка: https://clck.ru/JJB8ySupport the show

4 months, 1 week назад @ buzzsprout.com
Григорий Свердлин: идите лесом
Григорий Свердлин: идите лесом

Григорий Свердлин долгое время руководил Ночлежкой, а сейчас создал "Идите лесом!" — организацию, которая помогает избежать мобилизации."Ночлежка"https://homeless.ru/"Идите лесом!"https://iditelesom.org/Слушайте "Проветримся!", где вам удобно:ApplePodcasts: https://apple.co/2Psx8ydGooglePodcasts: https://clck.ru/F7BA7Я.Музыка: https://clck.ru/JJB8ySupport the show

4 months, 1 week назад @ buzzsprout.com
Искусственный Интеллект в маркетинге и не только
Искусственный Интеллект в маркетинге и не только

Гостевой эпизод подкаста тренд-хантеры.Support the show

4 months, 1 week назад @ buzzsprout.com
Безопасность Искусственного Интеллекта
Безопасность Искусственного Интеллекта

Говорим с Арчетом и Павлом Комаровским про безопасность ИИ.Телеграм-канал и YouTube Павла.Телеграм-канал и подкаст Арчета.Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show

4 months, 3 weeks назад @ buzzsprout.com
Оксана Мороз: Культура и Травма
Оксана Мороз: Культура и Травма

Оксана Мороз защитила диссертацию "Культурная травма в российском литературном дискурсе конца XX века", а последнее время интересуется темой Death Tech и тем, как технологии трансформирую отношение людей к смерти.Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show

5 months, 1 week назад @ buzzsprout.com
Вещие вещи: искусственный интеллект и будущее
Вещие вещи: искусственный интеллект и будущее

Какие сейчас перед нами сценарии развития искусственного интеллекта? Ждет ли нас еще одна «зима»? Как машинное обучение меняет рынки, общества и планету?Доклад на конференции TechTrain. Если хотите увидеть слайды, сходите на YouTube. Кстати, если вы подпишетесь, то поможете увеличить количество людей, которые регулярно смотрят или слушают "Проветримся!" https://youtu.be/BmUSfln9WrEКстати, у ребят в ближайшую неделю ещё две большие конференции. Heisenbug — большая конференция по тестированиюJpoint — большая конференция для Java-разработчиков.Не пропустите!Support the show

5 months, 3 weeks назад @ buzzsprout.com
Мария Шутова: генетика и клеточная терапия
Мария Шутова: генетика и клеточная терапия

Мария Шутова занимается коммерциализацией исследований в Cell and Gene Therapy Catapult.Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show

5 months, 4 weeks назад @ buzzsprout.com
Ярослав Кравцов: метавселенные
Ярослав Кравцов: метавселенные

Ярослав Кравцов — художник, геймдизайнер и создатель метавселенных на платформе Roblox.Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show

6 months назад @ buzzsprout.com
Никита и Виталий Касьяновы: Tookas
Никита и Виталий Касьяновы: Tookas

Никита и Виталий Касьяновы работают над проектом Tookas — электроприставкой для инвалидных колясок.Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show

6 months, 1 week назад @ buzzsprout.com
Светлана Великанова: университет нового поколения
Светлана Великанова: университет нового поколения

Светлана Великанова создала университет Harbour. https://harbour.space/Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show

6 months, 2 weeks назад @ buzzsprout.com
Маруся Лежнева: помощь мигрантам
Маруся Лежнева: помощь мигрантам

Маруся Лежнева одна из соосновательниц фонда Хьюм.https://welcomehume.org/Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show

6 months, 3 weeks назад @ buzzsprout.com
Межсезонье. Как искусственный интеллект поможет нам сохранить человечность?
Межсезонье. Как искусственный интеллект поможет нам сохранить человечность?

Разговор с Анной Ковалёвой для Reforum.Support the show

9 months, 3 weeks назад @ buzzsprout.com
Вы находитесь здесь Вы находитесь здесь
последний пост None
Comand Line Heroes by RedHat Comand Line Heroes by RedHat
последний пост None
Python Bytes Python Bytes
последний пост 5 days, 15 hours назад
#353 Hatching Another Episode
#353 Hatching Another Episode

Topics include OverflowAI, Switching to Hatch, Alpha release of the Ruff formatter, and What is wrong with TOML?

5 days, 15 hours назад @ pythonbytes.fm
#352 Helicopter Time Comes to Python
#352 Helicopter Time Comes to Python

Topics include Heliclockter, Wagtail 5, Git log customization, and MiniJinja template engine.

1 week, 5 days назад @ pythonbytes.fm
#351 A Python Empire (or MPIRE?)
#351 A Python Empire (or MPIRE?)

Topics include mpire, mopup, Immortal Objects for Python, and Common Docstring Formats in Python.

2 weeks, 4 days назад @ pythonbytes.fm
#350 You've Got The Stamina For This Episode
#350 You've Got The Stamina For This Episode

Topics include Make Each Line Count, Keeping Things Simple in Python, Parsel, A Comprehensive Guide to Python Logging with Structlog, and Stamina.

3 weeks, 5 days назад @ pythonbytes.fm
#349 Djangonauts: Ready for Takeoff!
#349 Djangonauts: Ready for Takeoff!

Topics include Omnivore app, Djangonaut.space, Server-side hot reload, and Python in Excel.

1 month назад @ pythonbytes.fm
#348 JavaScript in Your Python
#348 JavaScript in Your Python

Topics include Differentiating between writing down dependencies to use packages and for packages themselves, PythonMonkey, Quirks of Python package versioning, and bear-type.

1 month, 1 week назад @ pythonbytes.fm
#347 The One About Context Mangers
#347 The One About Context Mangers

Topics include async-timeout, PyPI Project URLs Cheatsheet, httpx-sse, and Creating a context manager in Python.

1 month, 2 weeks назад @ pythonbytes.fm
#346 Have you lost your GIL?
#346 Have you lost your GIL?

Topics include A Steering Council notice about PEP 703 (Making the Global Interpreter Lock Optional in CPython), Google's post-cookie world could turn into DRM for the internet, How ruff changed my Python programming habits, and pathlib api extended to use fsspec backends.

1 month, 3 weeks назад @ pythonbytes.fm
#345 Some Big Time Releases
#345 Some Big Time Releases

Topics include Cython 3.0, Reading code: An important but seldom-discussed skill, Major new version of MicroPython: v1.20.0, and Advanced Python Tips for Development.

2 months назад @ pythonbytes.fm
#344 AMA: Ask Us Anything
#344 AMA: Ask Us Anything 2 months, 1 week назад @ pythonbytes.fm
#343 So Much Pydantic!
#343 So Much Pydantic!

Topics include Pydantic v2 released, Two Ways to Turbo-Charge tox, Awesome Pydantic, and CLI tools hidden in the Python standard library.

2 months, 2 weeks назад @ pythonbytes.fm
#342 Don't Believe Those Old Blogging Myths
#342 Don't Believe Those Old Blogging Myths

Topics include Plumbum: Shell Combinators and More, Our plan for Python 3.13, Some blogging myths, and Jupyter AI.

3 months назад @ pythonbytes.fm
#341 Shhh - For Secrets and Shells
#341 Shhh - For Secrets and Shells

Topics include Pydantic roadmap, The Right Way to Run Shell Commands From Python, US: Yep, We're Buying Your Data, Including Your Embarrassing Secrets, and Pro-Tip – pytest fixtures are magic!

3 months назад @ pythonbytes.fm
#340 Snorkel not included
#340 Snorkel not included

Topics include PythonGUIS, JupyterLab 4.0 is Here, Proposing a struct syntax for Python, and Python 3.13 Removes 20 Stdlib Modules.

3 months, 1 week назад @ pythonbytes.fm
#339 Actual Technical People
#339 Actual Technical People

Topics include pystack, Securing PyPI accounts via Two-Factor Authentication, Propan - a declarative Python MQ framework, and Makefile tricks for Python projects.

3 months, 2 weeks назад @ pythonbytes.fm
Software Engineering Daily Software Engineering Daily
последний пост 1 month назад
AutoCloud and infrastructure as code with Tyson Kunovsky
AutoCloud and infrastructure as code with Tyson Kunovsky

Infrastructure as code refers to the use of software and configuration files to convey infrastructure specifications. This is in contrast to the traditional approach of manually provisioning servers, operating systems, storage, and other infrastructure components. With the growth of cloud computing, the infrastructure as code paradigm is becoming more integral to managing compute resources. AutoCloud

The post AutoCloud and infrastructure as code with Tyson Kunovsky appeared first on Software Engineering Daily.

3 days, 5 hours назад @ softwareengineeringdaily.com
Catching up with technologist Charlie Gerard
Catching up with technologist Charlie Gerard

Charlie Gerard is a highly accomplished software engineer and technologist. She’s worked at Stripe, Netlify, and Atlassian and authored the book, Practical Machine Learning in JavaScript. In her spare time, Charlie explores the field of human-computer interaction and builds interactive prototypes using hardware and machine learning. Some of her recent projects include building a DIY

The post Catching up with technologist Charlie Gerard appeared first on Software Engineering Daily.

5 days, 14 hours назад @ softwareengineeringdaily.com
Blameless with Ken Gavranovic
Blameless with Ken Gavranovic

Incident management is the process of responding to unplanned events or service interruptions, and then restoring service to an operational state. Having robust incident management is vital to many software teams. Blameless is a framework designed to help software companies manage their production incidents effectively. It provides a workflow for managing the incident response as

The post Blameless with Ken Gavranovic appeared first on Software Engineering Daily.

1 week, 3 days назад @ softwareengineeringdaily.com
Minimum Viable Security for Cloud Apps with David Melamed
Minimum Viable Security for Cloud Apps with David Melamed

Cloud applications continue to grow in popularity, but ensuring the security of these applications often presents a formidable engineering challenge. This challenge motivated the creation of Jit. Jit is a continuous security platform for developers, and seeks to enable every cloud app to start with minimum viable security, or MVS, without slowing development velocity. David

The post Minimum Viable Security for Cloud Apps with David Melamed appeared first on Software Engineering Daily.

1 week, 5 days назад @ softwareengineeringdaily.com
Highly Scalable NoSQL with Dor Laor
Highly Scalable NoSQL with Dor Laor

ScyllaDB is a fast and highly scalable NoSQL database designed to provide predictable performance at a massive cloud scale. It can handle millions of operations per second at a scale of gigabytes or petabytes. It’s also designed to be compatible with Cassandra and DynamoDB APIs. Scylla is used by Zillow, Comcast, and for Discord’s 350M+

The post Highly Scalable NoSQL with Dor Laor appeared first on Software Engineering Daily.

2 weeks, 3 days назад @ softwareengineeringdaily.com
Making React 70% faster with Aiden Bai of Million.js
Making React 70% faster with Aiden Bai of Million.js

React is an immensely popular JavaScript library that is used to build website user interfaces. A key feature of React is that it uses a virtual Document Object Model, or DOM, to selectively update the desired regions of the web page, which provides major performance advantages. Million.js is an open source project that provides an

The post Making React 70% faster with Aiden Bai of Million.js appeared first on Software Engineering Daily.

2 weeks, 5 days назад @ softwareengineeringdaily.com
Engineering Transformation at Scale with Chris Dillon
Engineering Transformation at Scale with Chris Dillon

Cox Automotive has been at the frontier of digitizing the automotive space with popular products such as AutoTrader, Kelly Blue Book, and Dealertrack. To deliver these products the company manages large quantities of data and diverse engineering teams. Scaling its operations required an engineering transformation of the company. Chris Dillon is the VP of Architecture

The post Engineering Transformation at Scale with Chris Dillon appeared first on Software Engineering Daily.

3 weeks, 3 days назад @ softwareengineeringdaily.com
Building a full cloud backend with James Cowling
Building a full cloud backend with James Cowling

Serverless backend platforms are cloud services that simplify the process of building a backend. These platforms are growing rapidly in popularity because they can greatly accelerate application development, and improve the developer experience. Convex is a real-time backend platform that uses 100% TypeScript and is designed with reactive UI frameworks in mind. The team behind

The post Building a full cloud backend with James Cowling appeared first on Software Engineering Daily.

3 weeks, 5 days назад @ softwareengineeringdaily.com
Modern Coding Superpowers with Varun Mohan
Modern Coding Superpowers with Varun Mohan

Exafunction is a leader in deploying deep learning models at scale. One of their products is Codeium, a coding assistant for software developers based on Exafunction’s deep learning technology. Codeium provides AI-assisted autocompletion in your IDE, making it easier for you to incorporate deep learning technology in your software development workflow. Varun Mohan is the

The post Modern Coding Superpowers with Varun Mohan appeared first on Software Engineering Daily.

1 month назад @ softwareengineeringdaily.com
The Latest on RedwoodJS with Tom Preston-Werner
The Latest on RedwoodJS with Tom Preston-Werner

Tom Preston-Werner is a renowned software developer, inventor and entrepreneur. He co-founded GitHub and is the creator of the avatar service Gravatar, the TOML configuration file format, and the static site generator software Jekyll. Tom is currently working on the full-stack web framework, RedwoodJS. He joins us today to tell us the latest about RedwoodJS,

The post The Latest on RedwoodJS with Tom Preston-Werner appeared first on Software Engineering Daily.

1 month назад @ softwareengineeringdaily.com
Cross-functional Incident Management with Ashley Sawatsky and Niall Murphy
Cross-functional Incident Management with Ashley Sawatsky and Niall Murphy

Incident management is the process of managing and resolving unexpected disruptions or issues in software systems, especially those that are customer-facing or critical to business operations. Implementing a robust incident management system is often a key challenge in technical environments. Rootly is a platform to handle incident management directly from Slack, and is used by

The post Cross-functional Incident Management with Ashley Sawatsky and Niall Murphy appeared first on Software Engineering Daily.

1 month, 1 week назад @ softwareengineeringdaily.com
AI for Software Delivery with Birgitta Böckeler
AI for Software Delivery with Birgitta Böckeler

AI-assisted software delivery refers to the utilization of artificial intelligence to assist, enhance, or automate various phases of the software development lifecycle. AI can be used in numerous aspects of software development, from requirements gathering to code generation to testing and monitoring. The overarching aim is to streamline software delivery, reduce errors and, ideally, reduce

The post AI for Software Delivery with Birgitta Böckeler appeared first on Software Engineering Daily.

1 month, 1 week назад @ softwareengineeringdaily.com
Expanding B2B Payments with Sohil Pandya
Expanding B2B Payments with Sohil Pandya

The Buy Now, Pay Later model, or BNPL, is traditionally a business-to-consumer model that is gaining traction in the business-to-business domain. Adoption of BNPL in business-to-business scenarios offers benefits like improved cash flow management for buyers, and increased sales for suppliers, often leading to higher order value. However, this model introduces complexities, including the need

The post Expanding B2B Payments with Sohil Pandya appeared first on Software Engineering Daily.

1 month, 2 weeks назад @ softwareengineeringdaily.com
Database Caching with Ben Hagan
Database Caching with Ben Hagan

Database caching is a fundamental challenge in database management and there are hundreds of techniques to satisfy different caching scenarios. PolyScale is a fully automated database cache. It offers an innovative approach to database caching, leveraging AI and automated configuration to simplify the process of determining what should and should not be cached. Ben Hagan

The post Database Caching with Ben Hagan appeared first on Software Engineering Daily.

1 month, 2 weeks назад @ softwareengineeringdaily.com
An update about SED from Jeff’s family
An update about SED from Jeff’s family

In memory of Software Engineering Daily Founder, Jeff Meyerson. 1988 – 2022 Jeff founded Software Engineering Daily in 2015 and hosted the podcast until 2022. He was willful, hard working, and a strong advocate for self-direction. To hear more about what Jeff was like, please listen to Remembering Jeff Meyerson with Erika Hokanson. If you’d

The post An update about SED from Jeff’s family appeared first on Software Engineering Daily.

1 month, 2 weeks назад @ softwareengineeringdaily.com
Habr Podcasts Habr Podcasts
последний пост 6 months, 3 weeks назад
Хабр ПРО // Оставь карту дома: на что способна NFC в платежах сейчас и в будущем
Хабр ПРО // Оставь карту дома: на что способна NFC в платежах сейчас и в будущем Хабр ПРО // Оставь карту дома: на что способна NFC в платежах сейчас и в будущем

В этом выпуске Хабр ПРО мы обсудили NFC: как работает эта технология, почему широко применяется в оплате и как будет развиваться.

Гости:

Андрей Ковригин, директор по продажам СБП (АО «НСПК»)

Александра Баженова, аналитик-разработчик

Эфир от 28 февраля 2023.

00:55 Знакомство с NFC: что это такое, как работает, где применяется и из чего выросло. 04:57 Курица или яйцо: это NFC пришла в платежи или сама выросла из технологии бесконтактной оплаты. Почему технология обрела популярность. 08:06 Вживить метку NFC: шутки и реальность. 09:05 Варианты оплаты с помощью NFC и их различия. 10:16 История появления NFC в СБП, и как технологию используют сейчас. 18:10 Почему при оплате с помощью меток необхо…

6 months, 3 weeks назад @ soundcloud.com
Хабр Про // Единство горы рушит: как синхронизировать разработку и управление продуктом
Хабр Про // Единство горы рушит: как синхронизировать разработку и управление продуктом Хабр Про // Единство горы рушит: как синхронизировать разработку и управление продуктом

В вашей компании команды разработки и управления продуктом тоже никак не могут договориться? В этом выпуске обсудим, как достичь дзена между лебедем и щукой: Технический директор «Дзена» Дима Кондрашкин

Директор по продукту «Дзена» Саша Колокольников А в роли рака был Андрей Аврамчук — ведущий подкаста. Онлайн прошёл 2 февраля 2023. 1:47 Взаимодействие между разработкой и продактом: критерии хорошего процесса и доверие как ключевое условие. 6:54 Как определить готовность MVP: подходы в разработке и продукте. 10:54 Что делать, если идея не взлетела. 14:24 Неудачи как полезный опыт. 15:27 Распределение ответственности между CTO и CPO. 19:03 Синхронизация работы через OKR и смена направлений в…

7 months, 3 weeks назад @ soundcloud.com
Хабр ПРО // Школа жизни для моделей: как MLOps продуктивизации помогает
Хабр ПРО // Школа жизни для моделей: как MLOps продуктивизации помогает Хабр ПРО // Школа жизни для моделей: как MLOps продуктивизации помогает

Когда-то на создание новых ML-продуктов уходили недели и месяцы, а теперь результат должен быть в течение пары дней. В этом выпуске Хабр ПРО мы обсудили, как создать свою MLOps-платформу. Про то, как идет эта работа в Мегафоне, нам рассказали: → Максим Кожевников, Head of Data Science

→ Артём Глазунов, Head of ML Platform and Analytical services и ведущий подкаста «Данные люди» https://t.me/bigdatapeople. Тайминги:

01:22 Идеальный пайплайн для ML-моделей

03:22 Главное звено внедрения MLOps

08:13 Секрет успеха своей платформы

11:51 Как определить, что нужна своя платформа

17:09 Вредные советы: как убить ML-модель

21:27 Как разные задачи ML меняют конфигурацию MLOps

24:48 Проблемы продуктивиз…

7 months, 3 weeks назад @ soundcloud.com
Мысли и Методы Мысли и Методы
последний пост None
Трёп Себранта Трёп Себранта
последний пост 3 months назад
Префиксы для реальности: AR, VR, XR и прочие на фоне VisionPro
Префиксы для реальности: AR, VR, XR и прочие на фоне VisionPro Префиксы для реальности: AR, VR, XR и прочие на фоне VisionPro

-=Выпуск 75=- Маша Лопухина и Оля Кай давно и разнообразно работают с виртуальной, дополненной и смешанной реальностями. А еще они обе прекрасные собеседницы и рассказчицы. Когда мы встретились втроем, грешно было бы не записать подкаст на полтора часа приятного трепа о новинке Apple и сопутствующих темах. Ссылка по теме: канал Оли

3 months назад @ sebrant.chat
Vision Pro + полгода ChatGPT: сопоставления
Vision Pro + полгода ChatGPT: сопоставления Vision Pro + полгода ChatGPT: сопоставления

-=Выпуск 74=- Исполнилось полгода ChatGPT, а через несколько дней Apple представили миру свои очки Vision Pro. Оба события можно пообсуждать по отдельности, но еще интересней вместе: редкий случай, когда можно заглянуть в будущее с помощью вполне линейной экстраполяции.

3 months, 2 weeks назад @ sebrant.chat
Как ИТМО говорил "ДА!" ChatGPT
Как ИТМО говорил "ДА!" ChatGPT Как ИТМО говорил "ДА!" ChatGPT

-= Выпуск 73 =- Запись митапа “ИТМО говорит ChatGPT - да!” с моим минимальным предисловием. Сам митап я модерировал с колоссальным удовольствием, потому что на практике убедился, что в сильном вузе обсуждают не как ограничить или запретить новинку — а как ей полезней и интересней всего пользоваться; и студентам, и преподавателям. А если где с новой технологией начинают бороться — это про сам вуз говорит плохое, а не про технологию :) Запись с видео можно посмотреть

5 months, 3 weeks назад @ sebrant.chat
LLMs как герои 23Q1; готовимся встречать мультимодальность, эмбодимент и эмерджентность
LLMs как герои 23Q1; готовимся встречать мультимодальность, эмбодимент и эмерджентность LLMs как герои 23Q1; готовимся встречать мультимодальность, эмбодимент и эмерджентность

-=Выпуск 72=- На фоне уже который месяц не спадающего интереса к ChatGPT и прочим большим языковым моделям я снова позвал в Трёп любимого собеседника — Ваню Ямщикова. Много лет он занимается обработкой естественного языка и языковыми моделями не только как практик, но и как ученый. Потому и его взгляды на происходящее и его ожидания от будущего, да еще в задорном и полемичном стиле изложенные, — очень своевременное и очень освежающее слушание. Несколько ссылок, упоминавшихся в разговоре: Выступление Вани на YaC-2018 про (прошлым летом, июль 2022) Статья в QuantaMagazine, которую Работа, в которой наглядно показано, что такое

6 months, 1 week назад @ sebrant.chat
Предновогоднее: чуток итогов-2022, чуток ожиданий-2023
Предновогоднее: чуток итогов-2022, чуток ожиданий-2023 Предновогоднее: чуток итогов-2022, чуток ожиданий-2023

-=Выпуск 71=- По традиции, под Новый год немного моего сольного трёпа про технологические итоги года уходящего и ожидания от года наступающего. Содержит для меня нетипичный фрагмент: хоть и не люблю я списки всяких персон года, решил объясниться, почему для меня в мире хайтека человеком уходящего года стал Илон Маск.

8 months, 4 weeks назад @ sebrant.chat
Зачем декану ИТМО Hard Science Fiction
Зачем декану ИТМО Hard Science Fiction Зачем декану ИТМО Hard Science Fiction

-=Выпуск 70=- Саша Капитонов рассказывает, какую научную фантастику он любит и почему считает ее полезной и для себя, и для студентов. Выпуск может быть источником чтива на приближающихся новогодних каникулах, но я специально не даю здесь ссылок на многочисленные упомянутые книжки: внимательно слушайте и ищите авторов и их произведения на своих любимых сервисах: тут вкусы бывают сильно разные.

9 months, 1 week назад @ sebrant.chat
⌨ Coding
Martin Fowler
последний пост 5 days, 15 hours назад
How is GenAI different from other code generators?
How is GenAI different from other code generators? How is GenAI different from other code generators?

Factors that impact usefulness of suggestionsNote: This is mostly based on experiences with GitHub Copilot.

I traditionally use a lot of copy and paste for these things, and Copilot can speed that up.

Higher margin for errorsI already touched on the importance of being able to judge the quality and correctness of suggestions.

Using coding assistance tools effectively is a skill that is not simply learned from a training course or a blog post.

Thanks to James Emmott, Joern Dinkla, Marco Pierobon, Paolo Carrasco, Paul Sobocinski and Serj Krasnov for their insights and feedback

5 days, 15 hours назад @ martinfowler.com
Technology Strategy for Emerging Technologies and Markets
Technology Strategy for Emerging Technologies and Markets Technology Strategy for Emerging Technologies and Markets

Creating an integrated business and technology strategyHow do you create a technology strategy?

A powerful technology strategy is as much about what is left out as it is about what is included.

I would like to challenge this conventional approach to creating technology strategies, and offer up a different way to create yours.

Additionally, because technology is considered as the business strategy is being formed, technology itself can be the driving force behind ideas for new revenue streams.

In doing so, your technology strategy will be integrated with the business strategy because it is born together with the business strategy.

1 month назад @ martinfowler.com
Demo Front-End: A front-end application to test and explore an API
Demo Front-End: A front-end application to test and explore an API Demo Front-End: A front-end application to test and explore an API

A Demo Front-End is a simple UI that provides basic features to demonstrate and explore such an API.

The Demo Front-End is a gift that keeps on giving.

Practical advice The Demo Front-End works best when it's immediately available in all the places where the related API is available.

The Demo Front-End was eventually made available in production too, so that internal users could troubleshoot calls coming from the product clients, i.e., their partners.

The Demo Front-End we built for them was, among other things, a solution to a problem that they told us they had.

1 month назад @ martinfowler.com
Strategic Directions supporting the people
Strategic Directions supporting the people Strategic Directions supporting the people

Creating an integrated business and technology strategyHow do you create a technology strategy?

A powerful technology strategy is as much about what is left out as it is about what is included.

I would like to challenge this conventional approach to creating technology strategies, and offer up a different way to create yours.

Additionally, because technology is considered as the business strategy is being formed, technology itself can be the driving force behind ideas for new revenue streams.

In doing so, your technology strategy will be integrated with the business strategy because it is born together with the business strategy.

1 month назад @ martinfowler.com
Bottlenecks of Scaleups #05: Resilience and Observability
Bottlenecks of Scaleups #05: Resilience and Observability Bottlenecks of Scaleups #05: Resilience and Observability

In this article, we’ll explore the Resilience and Observability Bottleneck: how you can recognize it coming, how you might realize it has already arrived, and what you can do to survive the bottleneck.

Shift to explicit resilience business requirements As a startup, new features are often considered more valuable than technical debt, including any work related to resilience.

At a minimum, you can create new test scenarios to further validate system resilience.

It may mean examining your overall design and architecture of the system and evolving it to meet the product resilience needs.

Continually optimize your resilience It's one thing to get through the bottleneck, it's another to stay out…

1 month назад @ martinfowler.com
TDD with GitHub Copilot
TDD with GitHub Copilot TDD with GitHub Copilot

Factors that impact usefulness of suggestionsNote: This is mostly based on experiences with GitHub Copilot.

I traditionally use a lot of copy and paste for these things, and Copilot can speed that up.

Higher margin for errorsI already touched on the importance of being able to judge the quality and correctness of suggestions.

Using coding assistance tools effectively is a skill that is not simply learned from a training course or a blog post.

Thanks to James Emmott, Joern Dinkla, Marco Pierobon, Paolo Carrasco, Paul Sobocinski and Serj Krasnov for their insights and feedback

1 month, 1 week назад @ martinfowler.com
Final parts of the cost bottleneck of scaleups
Final parts of the cost bottleneck of scaleups Final parts of the cost bottleneck of scaleups

Before engineers rush into optimizing cost individually within their own teams, it’s best to assemble a cross-functional team to perform analysis and lead execution of cost optimization efforts.

First, the cost optimization team should collect relevant invoices – these can be from cloud provider(s) and SaaS providers.

As a final tip: while rightsizing particular workloads, the cost optimization team should keep any pre-purchase commitments on their radar.

Incorporating spot instances: The unit cost of spot instances can be up to ~70% lower than on-demand instances.

Consolidating duplicative tools: While enumerating the cost drivers in terms of service providers, the cost optimization team m…

1 month, 1 week назад @ martinfowler.com
Strategic directions: minimizing risk and being data driven
Strategic directions: minimizing risk and being data driven Strategic directions: minimizing risk and being data driven

Creating an integrated business and technology strategyHow do you create a technology strategy?

A powerful technology strategy is as much about what is left out as it is about what is included.

I would like to challenge this conventional approach to creating technology strategies, and offer up a different way to create yours.

Additionally, because technology is considered as the business strategy is being formed, technology itself can be the driving force behind ideas for new revenue streams.

In doing so, your technology strategy will be integrated with the business strategy because it is born together with the business strategy.

1 month, 1 week назад @ martinfowler.com
Bottlenecks of Scaleups Webinar: Sep 7 2023
Bottlenecks of Scaleups Webinar: Sep 7 2023 Bottlenecks of Scaleups Webinar: Sep 7 2023

After hours of analyzing our scaleup portfolio, the Scaleups team at Thoughtworks has discovered that these three critical areas can cause stagnating business growth within startups.

For some, it manifests as technical debt reaching such a level that developers are dissatisfied, and productivity is down.

For others, experimentation and time to market have slowed after the original product market fit.

In our upcoming webinar, Scaling Bottlenecks: Technology mistakes every growing startup makes, our expert panel has extensively analyzed scaleups like yours to uncover common challenges.

Join us for our webinar and take away practical solutions to conquer technology obstacles, empower your team…

1 month, 1 week назад @ thoughtworks.com
Strategic directions to build a strong foundation
Strategic directions to build a strong foundation Strategic directions to build a strong foundation

Creating an integrated business and technology strategyHow do you create a technology strategy?

A powerful technology strategy is as much about what is left out as it is about what is included.

I would like to challenge this conventional approach to creating technology strategies, and offer up a different way to create yours.

Additionally, because technology is considered as the business strategy is being formed, technology itself can be the driving force behind ideas for new revenue streams.

In doing so, your technology strategy will be integrated with the business strategy because it is born together with the business strategy.

1 month, 1 week назад @ martinfowler.com
Actions to sustain cost control for scaleups
Actions to sustain cost control for scaleups Actions to sustain cost control for scaleups

Before engineers rush into optimizing cost individually within their own teams, it’s best to assemble a cross-functional team to perform analysis and lead execution of cost optimization efforts.

First, the cost optimization team should collect relevant invoices – these can be from cloud provider(s) and SaaS providers.

As a final tip: while rightsizing particular workloads, the cost optimization team should keep any pre-purchase commitments on their radar.

Incorporating spot instances: The unit cost of spot instances can be up to ~70% lower than on-demand instances.

Consolidating duplicative tools: While enumerating the cost drivers in terms of service providers, the cost optimization team m…

1 month, 1 week назад @ martinfowler.com
We will miss Stefan Tilkov
We will miss Stefan Tilkov

Martin Fowler: 14 Aug 2023We are saddened today to learn of the passing of Stefan Tilkov.

We’ve met Stefan several times at workshops and conferences and always enjoyed his good company and insightful views.

He advocated many of the things that we and our colleagues support - and as well as skillfully explaining these ideas, he also backed them up with concrete experience from his work.

We shall really miss his wise contributions online, and regret that we won’t get the chance to chat with him again.

We offer our condolences to his family, friends, and colleagues at INNOQ.

1 month, 1 week назад @ martinfowler.com
First stage of reducing costs for a scaleup
First stage of reducing costs for a scaleup First stage of reducing costs for a scaleup

Before engineers rush into optimizing cost individually within their own teams, it’s best to assemble a cross-functional team to perform analysis and lead execution of cost optimization efforts.

First, the cost optimization team should collect relevant invoices – these can be from cloud provider(s) and SaaS providers.

As a final tip: while rightsizing particular workloads, the cost optimization team should keep any pre-purchase commitments on their radar.

Incorporating spot instances: The unit cost of spot instances can be up to ~70% lower than on-demand instances.

Consolidating duplicative tools: While enumerating the cost drivers in terms of service providers, the cost optimization team m…

1 month, 2 weeks назад @ martinfowler.com
Tech strategy for new customer segments and inorganic growth
Tech strategy for new customer segments and inorganic growth Tech strategy for new customer segments and inorganic growth

Creating an integrated business and technology strategyHow do you create a technology strategy?

A powerful technology strategy is as much about what is left out as it is about what is included.

I would like to challenge this conventional approach to creating technology strategies, and offer up a different way to create yours.

Additionally, because technology is considered as the business strategy is being formed, technology itself can be the driving force behind ideas for new revenue streams.

In doing so, your technology strategy will be integrated with the business strategy because it is born together with the business strategy.

1 month, 2 weeks назад @ martinfowler.com
Coding assistants do not replace pair programming
Coding assistants do not replace pair programming Coding assistants do not replace pair programming

Factors that impact usefulness of suggestionsNote: This is mostly based on experiences with GitHub Copilot.

I traditionally use a lot of copy and paste for these things, and Copilot can speed that up.

Higher margin for errorsI already touched on the importance of being able to judge the quality and correctness of suggestions.

Using coding assistance tools effectively is a skill that is not simply learned from a training course or a blog post.

Thanks to James Emmott, Joern Dinkla, Marco Pierobon, Paolo Carrasco, Paul Sobocinski and Serj Krasnov for their insights and feedback

1 month, 2 weeks назад @ martinfowler.com
Антон Жиянов Антон Жиянов
последний пост 2 weeks, 6 days назад
Интерактивная API-документация
Интерактивная API-документация Интерактивная API-документация

В этой статье я предложу краткий и удобный формат интерактивной API-документации для любых HTTP API (REST, RPC и что угодно еще).

HTTP-статус 201 Created означает, что в результате запроса был создан новый пример.

Наконец, удалим пример:HTTP-статус 204 No Content означает, что мы удалили пример, поэтому гитхаб больше ничего не может о нем сообщить.

У Gists API есть и другие полезные возможности, но мы не будем их рассматривать.

length ; i ++ ) {Вызов API и показ результатов и того проще — используем браузерное Fetch API и выводим ответ как текст:

2 weeks, 6 days назад @ antonz.ru
Пишем менеджер пакетов
Пишем менеджер пакетов Пишем менеджер пакетов

Проектная область видимости:$ cd /my/project $ sqlpkg init $ sqlpkg install sqlite/stmt $ tree .sqlpkg .sqlpkg └── sqlite └── stmt ├── sqlpkg.json └── stmt.dylibГлобальная область видимости:$ cd /some/other/path $ sqlpkg install sqlite/stmt $ tree ~/.sqlpkg /Users/anton/.sqlpkg └── sqlite └── stmt ├── sqlpkg.json └── stmt.dylibИ никаких флагов!

Вместо простого «выведи содержимое .sqlpkg» у нас теперь 4 возможных ситуации для каждого пакета:Пакет есть в .sqlpkg и в локфайле, причем версии совпадают.

Пакет есть в .sqlpkg и в локфайле, но версии отличаются.

type Package struct { Owner string Name string Version string Homepage string Repository string Specfile string Authors [] string License …

1 month, 2 weeks назад @ antonz.ru
Язык Odin
Язык Odin Язык Odin

Язык OdinДавно подыскиваю для себя альтернативу языку C. Посмотрел на днях Rust, Nim, Zig, Hare и Odin.

А хотелось бы еще замену C.У Odin уникальный набор качеств:Простой язык без лишних прибамбасов.

Если исходный файл main.odin находится в текущем каталоге, собрать и запустить его можно так:docker run --rm --volume $(pwd):/sandbox --workdir /sandbox odin:latest odin run .

run : @docker run --rm --volume $( shell pwd ) :/sandbox --workdir /sandbox odin:latest odin run .

Но компания, в которой работает автор языка, активно использует Odin в продакшене, так что проверку реальностью он уже прошел.

1 month, 3 weeks назад @ antonz.ru
Реестр и менеджер пакетов для SQLite
Реестр и менеджер пакетов для SQLite Реестр и менеджер пакетов для SQLite

Ищет, скачивает и обновляет расширения.

2 months, 3 weeks назад @ antonz.ru
Как установить расширение для SQLite
Как установить расширение для SQLite Как установить расширение для SQLite

Чтобы добавить недостающие функции.

2 months, 3 weeks назад @ antonz.ru
SQLite-песочница с расширениями
SQLite-песочница с расширениями SQLite-песочница с расширениями

В Sqlime приехали 70 дополнительных функций.

2 months, 4 weeks назад @ antonz.ru
Встроенные функции в Go 1.21
Встроенные функции в Go 1.21 Встроенные функции в Go 1.21

Встроенные функции в Go 1.21Go 1.21 собрал множество приятных штук, от оптимизации по профилю (profile-guided optimization) до пакетов стандартной библиотеки для работы со срезами и картами (см.

В Go 1.21 добавили три новых: min , max and clear .

Встроенные функции — не ключевые слова, вы спокойно можете их перекрыть:// так можно max := "My name is Max" min := 4 - 1 make := func () int { return 14 } fmt .

Println ( max , min , make ()) // My name is Max 3 14А вот любопытный вопрос:Зачем «замусоривать» общее пространство имен и делать встроенные min и max вместо одноименных дженерик-функций в пакете cmp ?

clear внутри функции обрабатывает container в соответствии с фактическим типом: карты о…

3 months назад @ antonz.ru
Виды JOIN в SQL
Виды JOIN в SQL Виды JOIN в SQL

Виды JOIN в SQLВ SQL-джойнах скрыто больше, чем можно подумать.

Вот как он выглядит в общем случае:table [join-type] JOIN table join-specificationТаблица ( table ) — не обязательно прямо вот таблица.

Например, выберем вакансии вместе с соответствующими названиями компаний:select job_name , comp_name from jobs join companies on jobs .

Перекрестный JOINТретья и последняя разновидность — перекрестный джойн (cross join), также известный как «Декартово соединение» (Cartesian join):select job_name , comp_name from jobs cross join companies ;Перекрестный джойн игнорирует значения столбцов.

Я удивлен, что она вообще вошла в стандарт (подозрительно связано с тем, что она реализована в Oracle).

3 months назад @ antonz.ru
Мне не нужен ваш язык запросов
Мне не нужен ваш язык запросов Мне не нужен ваш язык запросов

Мне не нужен ваш язык запросовЭта заметка может показаться резковатой.

Чего я не могу понять, так это почему авторы считают новый язык запросов сильной стороной продукта.

name from movies join movies_actors using ( movie_id ) join actors using ( actor_id )Хм.

movie_id ) as rating from movies join movies_actors using ( movie_id ) join actors using ( actor_id ) where movie_id in ( select movie_id from actors join movies_actors using ( actor_id ) where actors .

Мне не нужен ваш модный язык запросов.

3 months, 1 week назад @ antonz.ru
sqlite3 + расширения в Python
sqlite3 + расширения в Python sqlite3 + расширения в Python

sqlite3 + расширения в PythonПодключить расширение для SQLite с помощью стандартного модуля sqlite3 довольно просто.

Если только вам не повезло использовать macOS, в который sqlite3 не поддерживает расширения.

Поэтому я создал пакет sqlean.py : полностью совместимую замену стандартному sqlite3 , которая заодно включает полезные расширения.

Установка и использованиеУстановите пакет через pip install :pip install sqlean.pyИ используйте вместо sqlite3 :import sqlean as sqlite3 # такой же интерфейс, как в стандартном `sqlite3` conn = sqlite3.connect(":memory:") conn.execute("create table employees(id, name)") # плюс сразу подключены расширения из `sqlean` cur = conn.execute("select median(value…

3 months, 1 week назад @ antonz.ru
Покрывающий индекс в SQL
Покрывающий индекс в SQL Покрывающий индекс в SQL

Покрывающий индекс — самый быстрый способ выбрать данные из таблицы.

Разберемся на примере запроса, который выбирает сотрудников с указанной зарплатой:

3 months, 2 weeks назад @ antonz.ru